面板数据固定效应线性回归模型的变量选择

Variable Selection of Linear Panel Data Models with Fixed Effects

摘要

本文基于弹性网（Elastic net）惩罚为面板数据固定效应线性回归模型提出了一种新的变量选择过程，所提出的变量选择过程能处理强相关变量的变量选择问题。先通过正向正交偏差变换消除固定效应，然后构造了基于Elastic net惩罚的最小二乘目标函数，进而同时进行回归系数的估计和变量选择，证明了所得估计的组效应性质。所提出的变量选择过程不仅消除了固定效应的影响，而且即使协变量存在共线性时，也能很好地识别出真实模型。其次，模拟研究了本文提出方法的有限样本性质。模拟研究表明：与Lasso，ALasso以及SCAD变量选择方法相比，提出的Elastic net变量选择方法能够很好的将强相关变量选入模型。最后，采用文中提出的方法分析了实际数据。

Abstract

Based on Elastic net, a new variable selection method is proposed in this paper for linear panel data models with fixed effects. The variable selection problem with the strongly correlated variables can be dealt with by the proposed variable selection method. Firstly, the fixed effect is eliminated by the forward orthogonal deviation transformation. Then, the penalized least squares objective function based on the Elastic net penalty is constructed, which can estimate regression coefficients and select important variables simultaneously. The group effect property of the obtained estimation is proved. The influence of fixed effects is eliminated by the proposed variable selection method and the real model can be identified well even if the covariates are collinear. Secondly, the finite sample properties of the proposed method are accessed by the simulation. The simulation results show that compared with Lasso, ALasso and SCAD variable selection methods, strongly correlated variables can be better selected by the proposed Elastic net variable selection method. Finally, a real dataset is analyzed by the proposed method.

关键词

强相关变量 / 正向正交偏差变换 / 弹性网 / 组效应

Key words

strongly correlated variables / the forward orthogonal deviations transform / Elastic net / grouping effect

0 引言

在科学研究的过程中经常会产生面板数据。面板数据是多个个体在不同时间点上进行重复测度，得到每个个体在不同时间点上的观测值。因此，面板数据同时具有截面和时间双重的特性，是截面与时间的结合。面板数据广泛应用于经济学、生物学、医学、管理学等领域。由于信息技术不断发展，数据变得越来越复杂，对于面板数据而言，如何从众多变量中选取出重要的变量，成为了当前统计学研究的热点问题之一。

目前，关于惩罚变量选择的方法已经有很多。Tibshirani^［1］在惩罚函数的启发下，提出了针对普通线性模型下的Lasso（Least absolute shrinkage and selection operator）变量选择方法，它可以将无显著影响的变量系数压缩为0，并且同时进行变量选择和系数的估计。为了有效地解决Lasso的计算问题，Efron等^［2］提出了最小角回归算法（Least Angel Regression，Lars），这种方法显著提高了Lasso方法的计算速度，使Lasso方法在模型估计和变量选择方面得到更广泛的应用。由于Lasso变量选择方法不具有Oracle性质，Zou^［3］提出了ALasso（Adaptive Least absolute shrinkage and selection operator）变量选择方法，ALasso不仅具有Lasso方法在系数压缩时的相同力度，而且ALasso具有Oracle性质。一方面，Fan和Li^［4］改进了Lasso方法，提出了具有Oracle性质的SCAD（Smoothly Clipped Absolute Deviation）惩罚变量选择方法。另一方面，Zou和Hastie^［5］结合岭回归和Lasso变量选择方法，提出了Elastic net变量选择方法，该变量选择方法相比于Lasso，它的优点在于可以处理变量之间强相关的数据。因此，Elastic net变量选择方法被广泛应用。舒时克和李路^［6］建立逻辑回归模型，采用Elastic net变量选择方法研究上证180指数成分股数据的选股问题。王文胜和宋家辉^［7］基于Elastic net分位数回归对开放性基金绩效评价进行了研究。黄登香等^［8］将Elastic net变量选择方法推广到部分线性模型，并讨论了变量选择的组效应性质。唐礼智等^［9］将Elastic net方法用于面板数据的贝叶斯分位数回归，并将所提出的方法分析了互联网金融类上市公司经济增加值数据。Shi等^［10］将Elastic net变量选择方法应用到了广义线性模型。Li和Ding^［11］针对Elastic net惩罚提出了广义条件梯度算法。邹璟婧等^［12］结合QR分解和Elastic net惩罚方法提出了一种线性混合效应模型中固定效应的变量选择方法。由于面板数据从截面和时间两个维度分析实际问题，已有学者讨论了面板数据固定效应线性回归模型的变量筛选。

关于高维面板数据模型的研究，李扬和曾宪斌^［13］针对面板数据模型的惩罚似然变量选择问题，给出了Lasso、ALasso、岭回归和SCAD四种惩罚函数的渐近性质。朱利荣等^［14］针对面板数据模型提出了ALasso的复合分位数回归估计。Li等^［15］采用SCAD惩罚变量选择方法研究了变系数固定效应模型的变量选择问题。已有针对高维面板数据模型的变量筛选，不能有效地处理相关性较强的变量。上述文献关于面板数据线性回归模型的变量选择并不能有效地处理相关性强的变量。为了解决该问题，本文运用Elastic net惩罚，消除固定效应的影响构造一种能处理高度相关变量的变量选择过程。首先引入正向正交偏差变换矩阵，消除固定效应项；然后结合Elastic net惩罚构造惩罚目标函数，进而同时估计回归系数和变量选择。进一步，证明了所提出估计的组效应性质。最后，模拟研究了所提出方法的有限样本性质。本文提出的方法具有两个优势：一、通过采用正向正交偏差变换的方法消除固定效应，避免了误差项序列相关。二、利用Elastic net惩罚有效地处理了强相关变量地变量筛选问题，所提出的方法具有组效应。

1 参数的变量选择

考虑如下面板数据固定效应模型

Y_{it}={\mathit{X}}_{it}^{\mathrm{T}}\mathit{\beta }+{\mathrm{c}}_i+{\epsilon }_{it},i=\mathrm{1,2},\cdots ,n,t=\mathrm{1,2},\cdots ,T，（1）

其中Y_{it}是响应变量，\mathit{\beta }是p维未知参数，{\mathit{X}}_{it}是p维协变量，{\epsilon }_{it}是模型误差，{\mathrm{c}}_i是不可观测的个体固定效应项。为了模型可识别，假定{\displaystyle \sum _{i=\mathrm{1}}^n}{\mathrm{c}}_i=\mathrm{0}，并且T有界。

令{\mathit{Y}}_i=(Y_{i\mathrm{1}},Y_{i\mathrm{2}},\cdots ,Y_{it}{)}^{\mathrm{T}}，{\mathit{X}}_i=({\mathit{X}}_{i\mathrm{1}},{\mathit{X}}_{i\mathrm{2}},\cdots ,{\mathit{X}}_{iT}{)}^{\mathrm{T}}，{\mathit{\epsilon }}_i=({\epsilon }_{i\mathrm{1}},{\epsilon }_{i\mathrm{2}},\cdots ,{\epsilon }_{it}{)}^{\mathrm{T}},{\mathit{C}}_i={\mathrm{1}}_T{\mathrm{c}}_i,{\mathrm{1}}_T是全为1的T维向量。则（1）式可写为

{\mathit{Y}}_i={\mathit{X}}_i\mathit{\beta }+{\mathit{C}}_i+{\mathit{\epsilon }}_i,i=\mathrm{1,2},\cdots ,n,（2）

由于{\mathrm{c}}_i是个体固定效应，如果忽略{\mathrm{c}}_i直接估计\mathit{\beta }获得的估计是有偏的。即如果直接估计{\mathrm{c}}_i，随着n的增加待估计参数{\mathrm{c}}_i增加，会造成“维数祸根”问题。一个有效的办法就是消除{\mathrm{c}}_i。因此，本文借鉴了Arellano^［16］的思想，通过正向正交偏差变换消除固定效应项。给出(T-\mathrm{1})\times T维的滤子矩阵\mathit{D}，其形式为

\mathit{D}=\left(\begin{array}{cccccc}-\mathrm{1}& \mathrm{1}& \mathrm{0}& \cdots & \mathrm{0}& \mathrm{0}\\ \mathrm{0}& -\mathrm{1}& \mathrm{1}& \cdots & \mathrm{0}& \mathrm{0}\\ ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ \mathrm{0}& \mathrm{0}& \mathrm{0}& \cdots & \mathrm{1}& \mathrm{0}\\ \mathrm{0}& \mathrm{0}& \mathrm{0}& \cdots & -\mathrm{1}& \mathrm{1}\end{array}\right)。

在（2）式两边乘以矩阵(\mathit{D}{\mathit{D}}^{\mathrm{T}}{)}^{-\mathrm{1}/\mathrm{2}}\mathit{D}，得到

{\tilde{\mathit{Y}}}_i={\tilde{\mathit{X}}}_i\mathit{\beta }+{\tilde{\mathit{\epsilon }}}_i,i=\mathrm{1,2},\cdots ,n,（3）

其中{\tilde{\mathit{Y}}}_i=(\mathit{D}{\mathit{D}}^{\mathrm{T}}{)}^{-\mathrm{1}/\mathrm{2}}\mathit{D}{\mathit{Y}}_i，{\tilde{\mathit{X}}}_i=(\mathit{D}{\mathit{D}}^{\mathrm{T}}{)}^{-\mathrm{1}/\mathrm{2}}\mathit{D}{\mathit{X}}_i，{\tilde{\mathit{\epsilon }}}_i=(\mathit{D}{\mathit{D}}^{\mathrm{T}}{)}^{-\mathrm{1}/\mathrm{2}}\mathit{D}{\mathit{\epsilon }}_i。式（3）通过正向正交偏差变换消除了固定效应。避免了所转换的误差项的序列相关性，即

V\mathrm{a}\mathrm{r}\left({\mathit{\epsilon }}_i\right)={\sigma }^{\mathrm{2}}{\mathit{I}}_T\Rightarrow \mathrm{V}\mathrm{a}\mathrm{r}\left({\tilde{\mathit{\epsilon }}}_i\right)={\sigma }^{\mathrm{2}}{\mathit{I}}_{T-\mathrm{1}}。

通过变换后，样本量nT变成了n(T-\mathrm{1})，我们记N=n\left(T-\mathrm{1}\right)。

令\tilde{\mathit{Y}}=({\tilde{\mathit{Y}}}_{\mathrm{1}},{\tilde{\mathit{Y}}}_{\mathrm{2}},\cdots ,{\tilde{\mathit{Y}}}_n{)}^{\mathrm{T}}，\tilde{\mathit{X}}=({\tilde{\mathit{X}}}_{\mathrm{1}},{\tilde{\mathit{X}}}_{\mathrm{2}},\cdots ,{\tilde{\mathit{X}}}_n{)}^{\mathrm{T}}，\tilde{\mathit{\epsilon }}=({\tilde{\mathit{\epsilon }}}_{\mathrm{1}},{\tilde{\mathit{\epsilon }}}_{\mathrm{2}},\cdots ,{\tilde{\mathit{\epsilon }}}_n{)}^{\mathrm{T}}。对于模型（3），我们可以构造基于弹性网惩罚最小二乘估计，即

\widehat{\mathit{\beta }}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}\left\{{\displaystyle \sum _{i=\mathrm{1}}^n}{\left({\tilde{\mathit{Y}}}_i-{\tilde{\mathit{X}}}_i\mathit{\beta }\right)}^{\mathrm{T}}\left({\tilde{\mathit{Y}}}_i-{\tilde{\mathit{X}}}_i\mathit{\beta }\right)+{\lambda }_{\mathrm{2}}{\left|\mathit{\beta }\right|}_{\mathrm{2}}^{\mathrm{2}}+{\lambda }_{\mathrm{1}}{\left|\mathit{\beta }\right|}_{\mathrm{1}}\right\},（4）

其中{\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}是非负调节参数，{\left|\mathit{\beta }\right|}_{\mathrm{2}}^{\mathrm{2}}={\displaystyle \sum _{j=\mathrm{1}}^p}{\beta }_j^{\mathrm{2}}，{\left|\mathit{\beta }\right|}_{\mathrm{1}}={\displaystyle \sum _{j=\mathrm{1}}^p}\left|{\beta }_j\right|。

给出数据集（\tilde{\mathit{Y}},\tilde{\mathit{X}}）和（{\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}），定义一个新的数据集（{\tilde{\mathit{Y}}}^{\mathrm{*}},{\tilde{\mathit{X}}}^{\mathrm{*}}），其中

{\tilde{\mathit{X}}}_{(N+p)\times p}^{\mathrm{*}}=(\mathrm{1}+{\lambda }_{\mathrm{2}}{)}^{-\mathrm{1}/\mathrm{2}}\left(\begin{array}{c}\tilde{\mathit{X}}\\ \sqrt[]{{\lambda }_{\mathrm{2}}}\mathit{I}\end{array}\right)， {\tilde{\mathit{Y}}}_{(N+p)}^{\mathrm{*}}=\left(\begin{array}{c}\tilde{\mathit{Y}}\\ \mathrm{0}\end{array}\right)，

令\gamma ={\lambda }_{\mathrm{1}}/\sqrt[]{\mathrm{1}+{\lambda }_{\mathrm{2}}}，{\mathit{\beta }}^{\mathrm{*}}=\sqrt[]{\mathrm{1}+{\lambda }_{\mathrm{2}}}\mathit{\beta }，弹性网惩罚最小二乘的解等价于以下Lasso方法的解

{\widehat{\mathit{\beta }}}^{\mathrm{*}}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}\left\{{\left({\tilde{\mathit{Y}}}^{\mathrm{*}}-{\tilde{\mathit{X}}}^{\mathrm{*}}{\mathit{\beta }}^{\mathrm{*}}\right)}^{\mathrm{T}}\left({\tilde{\mathit{Y}}}^{\mathrm{*}}-{\tilde{\mathit{X}}}^{\mathrm{*}}{\mathit{\beta }}^{\mathrm{*}}\right)+\gamma {\left|{\mathit{\beta }}^{\mathrm{*}}\right|}_{\mathrm{1}}\right\}。（5）

从而

\widehat{\mathit{\beta }}=\frac{\mathrm{1}}{\sqrt[]{\mathrm{1}+{\lambda }_{\mathrm{2}}}}{\widehat{\mathit{\beta }}}^{\mathrm{*}}。

因此，目标函数（4）式的算法问题得到有效解决。注意到弹性网惩罚最小二乘目标函数涉及两个调节参数{\lambda }_{\mathrm{1}}，{\lambda }_{\mathrm{2}}的选取，为了避免二维最优化问题，类似Li等^［17］在模拟研究中，固定调节参数{\lambda }_{\mathrm{2}}=\mathrm{0.01}，采用最小化下面BIC目标函数选取{\lambda }_{\mathrm{1}}：

\mathrm{B}\mathrm{I}\mathrm{C}({\lambda }_N)=\mathrm{l}\mathrm{o}\mathrm{g}({\widehat{\sigma }}_{{\lambda }_N})+\frac{\mathrm{l}\mathrm{o}\mathrm{g}N}{N}d{f}_{{\lambda }_N}，

其中{\widehat{\sigma }}_{{\lambda }_N}=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}({\tilde{Y}}_{it}-{\tilde{\mathit{X}}}_{it}^{\mathrm{T}}{\widehat{\mathit{\beta }})}^{\mathrm{2}}，第一项控制模型拟合的好坏，第二项控制模型的稀疏性，d{f}_{{\lambda }_N}是\widehat{\mathit{\beta }}中的非零系数个数，称为自由度。{\tilde{Y}}_{it}，{\tilde{\mathit{X}}}_{it}^{\mathrm{T}}分别是经过正向正交偏差变换消除固定效应项后的响应变量和协变量。

2 估计的组效应

现在给出弹性网方法的组效应性质，即将强相关变量全部选入模型或者全部剔出模型。

定理1 给出数据（\tilde{\mathit{X}},\tilde{\mathit{Y}}）和参数（{\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}），响应变量\tilde{\mathit{Y}}是经过中心化的，解释变量\tilde{\mathit{X}}是经过标准化的。令\widehat{\mathit{\beta }}({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})是弹性网的估计。假设{\widehat{\beta }}_l({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}){\widehat{\beta }}_k({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})>\mathrm{0}。定义

D_{{\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}}(l,k)=\frac{\mathrm{1}}{{\left|\tilde{\mathit{Y}}\right|}_{\mathrm{1}}}\left|{\widehat{\beta }}_l({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})-{\widehat{\beta }}_k({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})\right|，

则有

D_{{\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}}(l,k)\le \frac{\mathrm{1}}{{\lambda }_{\mathrm{2}}}\sqrt[]{\mathrm{2}(\mathrm{1}-\rho )}，

其中\rho ={\tilde{\mathit{X}}}^{\text{'}}{}_{\mathit{l}}^{\mathrm{T}}{\tilde{\mathit{X}}}_{\mathit{k}}^{\text{'}}是样本相关系数，{\tilde{\mathit{X}}}_{\mathit{l}}^{\text{'}}和{\tilde{\mathit{X}}}_k^{\text{'}}是矩阵\tilde{\mathit{X}}的第l列和第k列。

证明 令{\widehat{\beta }}_l({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}){\widehat{\beta }}_k({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})>\mathrm{0}，则有\mathrm{s}\mathrm{g}\mathrm{n}\left\{{\widehat{\beta }}_l({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})\right\}=\mathrm{s}\mathrm{g}\mathrm{n}\left\{{\widehat{\beta }}_k({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})\right\}，且二者非零，其中\mathrm{s}\mathrm{g}\mathrm{n}\left(\cdot \right)是符号函数。由\widehat{\mathit{\beta }}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}L({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}},\mathit{\beta })，则\widehat{\beta }({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})满足

\frac{\partial L({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}},\mathit{\beta })}{\partial {\beta }_k}=\mathrm{0}。

所以有

{\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}\left\{(-\mathrm{2}){\tilde{X}}_{itk}({\tilde{Y}}_{it}-{\displaystyle \sum _{j=\mathrm{1}}^p}{\tilde{X}}_{itj}{\widehat{\beta }}_j({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}))\right\}+{\lambda }_{\mathrm{1}}\mathrm{s}\mathrm{g}\mathrm{n}\left\{{\widehat{\beta }}_k({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})\right\}+\mathrm{2}{\lambda }_{\mathrm{2}}{\widehat{\beta }}_k({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})=\mathrm{0}\mathrm{。}（6）

又有

{\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}\left\{(-\mathrm{2}){\tilde{X}}_{itl}({\tilde{Y}}_{it}-{\displaystyle \sum _{j=\mathrm{1}}^p}{\tilde{X}}_{itj}{\widehat{\beta }}_j({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}))\right\}+{\lambda }_{\mathrm{1}}\mathrm{s}\mathrm{g}\mathrm{n}\left\{{\widehat{\beta }}_l({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})\right\}+\mathrm{2}{\lambda }_{\mathrm{2}}{\widehat{\beta }}_l({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})=\mathrm{0}\mathrm{。}（7）

（7）减（6）得

{\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}\left\{(-\mathrm{2})({\tilde{X}}_{itl}-{\tilde{X}}_{itk})({\tilde{Y}}_{it}-{\displaystyle \sum _{j=\mathrm{1}}^p}{\tilde{X}}_{itj}{\widehat{\beta }}_j({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}))\right\}+\mathrm{2}{\lambda }_{\mathrm{2}}({\widehat{\beta }}_l({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})-{\widehat{\beta }}_k({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}))=\mathrm{0}\mathrm{。}（8）

整理（8）得

{\widehat{\beta }}_l({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})-{\widehat{\beta }}_k({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})=\frac{\mathrm{1}}{{\lambda }_{\mathrm{2}}}{\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}\left\{({\tilde{X}}_{itl-}{\tilde{X}}_{itk})({\tilde{Y}}_{it}-{\displaystyle \sum _{j=\mathrm{1}}^p}{\tilde{X}}_{itj}{\widehat{\beta }}_j({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}))\right\}=\frac{\mathrm{1}}{{\lambda }_{\mathrm{2}}}\left({\tilde{\mathit{X}}}^{\text{'}}{}_{\mathit{l}}^{\mathrm{T}}-{\tilde{\mathit{X}}}^{\text{'}}{}_{\mathit{k}}^{\mathrm{T}}\right)\widehat{\gamma }\left({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}\right),

其中\widehat{\gamma }\left({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}\right)=\tilde{\mathit{Y}}-\tilde{\mathit{X}}\widehat{\mathit{\beta }}\left({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}\right)，{\tilde{\mathit{X}}}_{\mathit{l}}^{\text{'}}和{\tilde{\mathit{X}}}_{\mathit{k}}^{\text{'}}是矩阵\tilde{\mathit{X}}的第l列和第k列。由\widehat{\beta }=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}L({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}},\mathit{\beta })知

L({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}},\mathit{\beta })\le L({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}},\mathrm{0})，

等价于

{\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}({\tilde{Y}}_{it}{-{\displaystyle \sum _{j=\mathrm{1}}^p}{\tilde{X}}_{itj}{\beta }_j)}^{\mathrm{2}}+{\lambda }_{\mathrm{2}}{\left|\beta \right|}^{\mathrm{2}}+{\lambda }_{\mathrm{1}}{\left|\beta \right|}_{\mathrm{1}}\le {\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}{\tilde{Y}}_{it}^{\mathrm{2}},

即

{\widehat{\gamma }}^{\mathrm{2}}\left({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}\right)+{\lambda }_{\mathrm{2}}{\left|\mathit{\beta }\right|}_{\mathrm{2}}^{\mathrm{2}}+{\lambda }_{\mathrm{1}}{\left|\mathit{\beta }\right|}_{\mathrm{1}}\le {\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}{\tilde{Y}}_{it}^{\mathrm{2}}，

则可以得到{\widehat{\gamma }}^{\mathrm{2}}\left({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}\right)\le {\left|\tilde{\mathit{Y}}\right|}^{\mathrm{2}}，其中\left|\tilde{\mathit{Y}}\right|=\sqrt[]{{\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}{\tilde{Y}}_{it}^{\mathrm{2}}}，令{\left|\tilde{\mathit{Y}}\right|}_{\mathrm{1}}={\displaystyle \sum _{i=\mathrm{1}}^n}{\displaystyle \sum _{j=\mathrm{1}}^{T-\mathrm{1}}}\left|{\tilde{Y}}_{it}\right|，易得\left|\tilde{\mathit{Y}}\right|\le {\left|\tilde{\mathit{Y}}\right|}_{\mathrm{1}}。

即

\left|\widehat{\gamma }\left({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}\right)\right|\le \left|\tilde{\mathit{Y}}\right|。

则有

D_{{\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}}(l,k)=\frac{\mathrm{1}}{{\left|\tilde{\mathit{Y}}\right|}_{\mathrm{1}}}\left|{\widehat{\beta }}_l({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}})-{\widehat{\beta }}_k({\lambda }_{\mathrm{1}}-{\lambda }_{\mathrm{2}})\right|\le \frac{\mathrm{1}}{{\lambda }_{\mathrm{2}}}\frac{\left|\widehat{\gamma }\left({\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}\right)\right|}{\left|\tilde{\mathit{Y}}\right|}\left|{\tilde{\mathit{X}}}_{\mathit{l}}^{\text{'}}-{\tilde{\mathit{X}}}_k^{\text{'}}\right|\le \frac{\mathrm{1}}{{\lambda }_{\mathrm{2}}}\sqrt[]{\mathrm{2}\left(\mathrm{1}-\rho \right)}。

因此，定理1得证。

注：定理1给出了弹性网的组效应性质，D_{{\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}}(l,k)展示了两个变量{\tilde{\mathit{X}}}_l和{\tilde{\mathit{X}}}_k的系数路径之间的差异。如果{\tilde{\mathit{X}}}_l与{\tilde{\mathit{X}}}_k强相关，即若\rho =\mathrm{1}，两者的系数路径之间的差异几乎为零。因此，可以看出弹性网变量选择方法可以有效处理强相关变量，而Lasso变量选择不能处理强相关变量。

3 模拟研究

本节通过模拟研究所提出方法的有限样本性质。模拟研究考虑了两种情形：协变量不存在完全相关变量和存在完全相关变量。为了度量变量选择和估计的精度，我们计算了非零变量错误估计为0的平均个数，记为“IC”，零变量正确估计为0的平均个数，记为“C”。

以及MSE，其中MSE的定义为：

\mathrm{M}\mathrm{S}\mathrm{E}\left(\widehat{\mathit{\beta }}\right)={\left(\widehat{\mathit{\beta }}-\mathit{\beta }\right)}^{\mathrm{T}}\left(\widehat{\mathit{\beta }}-\mathit{\beta }\right)。

为了比较，模拟研究考虑了弹性网，Lasso，ALasso和SCAD四种变量选择方法，其中Lasso和ALasso利用R软件中的包“lar”，SCAD采用包“ncvreg”。样本容量分别取n=50，100和150，每种情况重复运行1 000次。由于面板数据是不同个体不同时间上的观测，观测次数为T=\mathrm{5}，个体效应满足{\displaystyle \sum _{i=\mathrm{1}}^n}{\mathrm{c}}_i=\mathrm{0}。

模拟1 协变量不存在完全相关的情形。数据由以下模型产生

Y_{it}={\mathit{X}}_{it}^{\mathrm{T}}\mathit{\beta }+{\mathrm{c}}_i+{\epsilon }_{it},i=\mathrm{1,2},\cdots ,n,t=\mathrm{1},\cdots ,\mathrm{5},

其中\mathit{\beta }={(\mathrm{3,1.5,1.5,0},\cdots ,\mathrm{0})}^{\mathrm{T}}，维数p=\mathrm{10}，协变量\mathit{X}=\left({\mathit{X}}_{\mathrm{1}},{\mathit{X}}_{\mathrm{2}},\cdots ,{\mathit{X}}_{\mathrm{10}}\right)产生均值为零，协方差矩阵为\mathrm{C}\mathrm{o}\mathrm{v}\left({\mathit{X}}_i,{\mathit{X}}_j\right)={\rho }^{\left|i-j\right|}的多元正态分布，\rho的取值为0.5，{\mathrm{c}}_i=X_{i\cdot ,\mathrm{1}}+V_i,i=\mathrm{2},\cdots ,n，其中V_i~N(\mathrm{0,1})，X_{i\cdot ,\mathrm{1}}=\frac{\mathrm{1}}{\mathrm{5}}{\displaystyle \sum _{t=\mathrm{1}}^{\mathrm{5}}}{X}_{it,\mathrm{1}}，且{\mathrm{c}}_{\mathrm{1}}=-{\displaystyle \sum _{i=\mathrm{2}}^n}{\mathrm{c}}_i，模型误差{\epsilon }_{it}~\mathrm{0.5}N(\mathrm{0,1})。计算结果见表1。

从表1可以得到以下结论：

（1）随着样本量的增加，弹性网，Lasso，ALasso和SCAD四种变量选择的方MSE都减小。

（2）Elastic net和Lasso变量选择的方法的MSE相差不大，并且IC和C也相差不大，说明在协变量不存在完全相关时，弹性网和Lasso两种方法效果相当。

（3）由于ALasso和SCAD两种方法具有Oracle性质，弹性网和Lasso两种方法不具有Oracle性质，所以ALasso和SCAD两种方法的MSE更小。

模拟2 协变量之间存在完全相关的情形。数据由以下模型产生

Y_{it}={\mathit{X}}_{it}^{\mathrm{T}}\mathit{\beta }+{\mathrm{c}}_i+{\epsilon }_{it},i=\mathrm{1,2},\cdots ,n,t=\mathrm{1},\cdots ,\mathrm{5},

其中\mathit{\beta }={(\mathrm{3,1.5,1.5,0},\cdots ,\mathrm{0})}^{\mathrm{T}}，维数p=\mathrm{10}，协变量\mathit{X}=\left({\mathit{X}}_{\mathrm{1}},{\mathit{X}}_{\mathrm{2}},\cdots ,{\mathit{X}}_{\mathrm{10}}\right)，其中产生{\mathit{X}}_{\mathrm{2}}~N\left(\mathrm{0,1}\right)，变量{\mathit{X}}_{\mathrm{2}}={\mathit{X}}_{\mathrm{3}}（协变量完全相关），其余变量{\mathit{X}}_i产生均值为零，协方差矩阵为Cov\left({\mathit{X}}_i,{\mathit{X}}_j\right)={\rho }^{\left|i-j\right|}的多元正态分布，\rho为0.5，{\mathrm{c}}_i=X_{i\cdot ,\mathrm{1}}+V_i,i=\mathrm{2},\cdots ,n，其中V_i~N(\mathrm{0,1})，X_{i\cdot ,\mathrm{1}}=\frac{\mathrm{1}}{\mathrm{5}}{\displaystyle \sum _{t=\mathrm{1}}^{\mathrm{5}}}{X}_{it,\mathrm{1}}，且{\mathrm{c}}_{\mathrm{1}}=-{\displaystyle \sum _{i=\mathrm{2}}^n}{\mathrm{c}}_i，模型误差{\epsilon }_{it}~\mathrm{0.5}N(\mathrm{0,1})。计算结果见表2。

从表2可以看出：Lasso，ALasso和SCAD三种方法的IC值都为1，说明三种方法都将某个非零系数估计为零，并且导致了MSE过大。而弹性网方法的IC值为0，这表明了弹性网方法具有组效应，能够同时将强相关变量一起选入模型。

4 实例分析

本节分析一组来自北卡罗来纳州的犯罪数据。该数据可以从R软件包“plm”获得。该组数据采集了90个观测单位的数据，每个单位进行7次观测（每年观测一次），总共630个数据。本文构建如下面板数据模型分析该数据集，即

Y_{it}={\beta }_{\mathrm{1}}{X}_{it,\mathrm{1}}+{\beta }_{\mathrm{2}}{X}_{it,\mathrm{2}}+\cdots +{\beta }_{\mathrm{16}}{X}_{it,\mathrm{16}}+{\beta }_{\mathrm{17}}{X}_{it,\mathrm{17}}+{\mathrm{C}}_i+{\epsilon }_{it}，

其中Y_{it},X_{it}代表的变量在表3中给出。

类似模拟研究，采用四种方法分析了该数据集。为了比较四种方法的优劣，我们也计算了均方误差（MSE），其定义为：

\mathrm{M}\mathrm{S}\mathrm{E}=\frac{\mathrm{1}}{\mathrm{630}}{\displaystyle \sum _{i=\mathrm{1}}^{\mathrm{90}}}{\displaystyle \sum _{t=\mathrm{1}}^{\mathrm{7}}}(Y_{it}-{\widehat{\beta }}_{\mathrm{1}}{X}_{it,\mathrm{1}}+{\widehat{\beta }}_{\mathrm{2}}{X}_{it,\mathrm{2}}+\cdots +{\widehat{\beta }}_{\mathrm{16}}{X}_{it,\mathrm{16}}+{\widehat{\beta }}_{\mathrm{17}}{X}_{it,\mathrm{17}}{)}^{\mathrm{2}}，

其中\widehat{\beta }为对应方法的系数估计值。计算结果见表4。

从表4可以看出，Lasso和SCAD从17个变量中选出了10个重要变量，ALasso和弹性网从17个变量中选出了7个重要变量。然而，与Lasso、ALasso和SCAD相比，弹性网给出了最小的MSE。

5 结束语

本文针对面板数据固定效应线性回归模型，提出了基于弹性网的变量选择过程。在构造弹性网惩罚目标函数时，为了消除固定效应，采用正向正交偏差变换的方法，避免了转换后的误差项存在序列相关性。通过最小化弹性网惩罚最小二次目标函数来实现系数压缩，将有些系数压缩为零。进一步，证明了所提出的变量选择过程的组效应性质。

参考文献

[1] Tibshirani R. Regression Shrinkage and Selection via the Lasso[J]. J R Stat Soc Ser B Methodol, 1996, 58(1): 267-288. DOI: 10.1111/j.2517-6161.1996.tb02080.x .

[2] Efron B, Hastie T, Johnstone I, et al. Least Angle Regression[J]. Ann Statist, 2004, 32(2): 407-499. DOI: 10.1214/009053604000000067 .

[3] Zou H. The Adaptive Lasso and Its Oracle Properties[J]. J Am Stat Assoc, 2006, 101(476): 1418-1429. DOI: 10.1198/016214506000000735 .

[4] Fan J Q, Li R Z. Variable Selection via Nonconcave Penalized Likelihood and Its Oracle Properties[J]. J Am Stat Assoc, 2001, 96(456): 1348-1360. DOI: 10.1198/016214501753382273 .

[5] Zou H, Hastie T. Regularization and Variable Selection via the Elastic Net[J]. J R Stat Soc Ser B Stat Methodol, 2005, 67(2): 301-320. DOI: 10.1111/j.1467-9868.2005.00503.x .

[6] 舒时克, 李路. 基于Elastic Net惩罚的多因子选股策略[J]. 统计与决策, 2021, 37(16): 157-161. DOI: 10.13546/j.cnki.tjyjc.2021.16.036 .

[7] Shu S K, Li L. Multi-factor Stock Selection Strategy Based on Elastic Net Punishment[J]. Stat Decis, 2021, 37(16): 157-161. DOI: 10.13546/j.cnki.tjyjc.2021.16.036 .

[8] 王文胜, 宋家辉. 基于弹性网分位数回归的开放型基金绩效研究[J]. 数理统计与管理, 2020, 39(4): 721-733. DOI: 10.13860/j.cnki.sltj.20191021-003 .

[9] Wang W S, Song J H. Open-end Fund Investment Performance Based on Elastic Net Quantile Regression[J]. J Appl Stat Manag, 2020, 39(4): 721-733. DOI: 10.13860/j.cnki.sltj.20191021-003 .

[10] Huang D X, Li C H, Qin C Y, et al. The Application and Property of Elastic Net Procedure for Partially Linear Models[J]. Chin Q J Math, 2020, 35(3): 290-301. DOI: 10.13371/j.cnki.chin.q.j.m.2020.03.004 .

[11] 唐礼智, 李雨佳, 赵力静. 面板数据的贝叶斯Elastic Net分位数回归方法及其应用研究[J]. 统计研究, 2020, 37(3): 94-113. DOI: 10.19343/j.cnki.11-1302/c.2020.03.008 .

[12] Tang L Z, Li Y J, Zhao L J. Study on the Bayesian Elastic Net Quantile Regression for Panel Data: Methods and Applications[J]. Stat Res, 2020, 37(3): 94-113. DOI: 10.19343/j.cnki.11-1302/c.2020.03.008 .

[13] Shi X Y, Liang B, Zhang Q. Post-selection Inference of Generalized Linear Models Based on the Lasso and the Elastic Net[J]. Commun Stat Theory Meth, 2022, 51(14): 4739-4756. DOI: 10.1080/03610926.2020.1821892 .

[14] Li H L, Ding L. Generalized Conditional Gradient Method for Elastic-net Regularization[J]. J Comput Appl Math, 2022, 403: 113872. DOI: 10.1016/j.cam.2021.113872 .

[15] 邹璟婧, 杨宜平, 赵培信. 基于正交投影的线性混合效应模型的弹性网变量选择[J]. 应用数学, 2024, 37(2): 547-553. DOI: 10.13642/j.cnki.42-1184/o1.2024.02.004 .

[16] Zou J J, Yang Y P, Zhao P X. The Elastic Net Variable Selection for Linear Mixed-effects Models Based on the Orthogonal Projection[J]. Mathematica Applicata, 2024, 37(2): 547-553. DOI: 10.13642/j.cnki.42-1184/o1.2024.02.004 .

[17] 李扬, 曾宪斌. 面板数据模型的惩罚似然变量选择方法研究[J]. 统计研究, 2014, 31(3): 83-89. DOI: 10.19343/j.cnki.11-1302/c.2014.03.012 .

[18] Li Y, Zeng X B. Research on Variable Selection Method of Penalized Likelihood for Panel Data Model[J]. Stat Res, 2014, 31(3): 83-89. DOI: 10.19343/j.cnki.11-1302/c.2014.03.012 .

[19] 朱利荣, 胡超竹, 罗幼喜. 面板数据模型的惩罚复合分位回归方法[J]. 统计与决策, 2022, 38(13): 40-45. DOI: 10.13546/j.cnki.tjyjc.2022.13.008 .

[20] Zhu L R, Hu C Z, Luo Y X. A Penalized Composite Quantile Regression Method for Panel Data Model[J]. Stat Decis, 2022, 38(13): 40-45. DOI: 10.13546/j.cnki.tjyjc.2022.13.008 .

[21] Li G R, Lian H, Lai P, et al. Variable Selection for Fixed Effects Varying Coefficient Models[J]. Acta Math Sin Engl Ser, 2015, 31(1): 91-110. DOI: 10.1007/s10114-015-3159-2 .

[22] Arellano M. Panel Data Econometrics[M]. Oxford: Oxford University Press, 2003.

[23] Li N, Yang H, Yang J. Nonnegative Estimation and Variable Selection via Adaptive Elastic-net for High-dimensional Data[J]. Commun Stat Simul Comput, 2021, 50(12): 4263-4279. DOI: 10.1080/03610918.2019.1642484 .

基金资助

国家社会科学基金项目(18BTJ035)

重庆市自然科学基金(cstc2021jcyj-msxmX0079)

重庆市社科规划委托项目(2019WT58)