本项目研究线性模型中基于模型选择和Pitman准则的约束有偏估计及相关算法与应用。第一,深入研究利用Boosting等方法来实现约束岭型估计,约束Liu估计,约束几乎无偏估计,Stein型压缩估计以及预检验估计等各类约束有偏估计的自动模型选择,并与LASSO类方法在模型选择方面的效果进行比较;第二,研究各种约束有偏估计中偏参数和LASSO类方法中光滑参数基于交叉验证(CV)、广义交叉验证(GCV)以及拟交叉验证(Q-GCV)等准则的选取问题,并分析相应估计在大样本下的相合性、渐进正态性和收敛速度;第三,研究各类约束有偏估计在Pitman准则下的优良性,并重点研究计算Pitman度量的算法和在非对称损失函数下参数估计的Pitman优良性。
model selection;LASSO;robustness estimation;restricted biased estimation;condition numbers
根据项目的研究内容,四年来,我们围绕三个方面开展研究工作,首先是继续本团队坚持10多年的约束有偏估计的研究,如针对奇异线性模型,研究了随机线性约束和线性等式约束下的有偏估计问题,对负二项回归模型和非负二项回归模型都获得了较好的结果,获得了新的两参数估计,统一了模型参数常见的有偏估计。研究了线性混合模型的预测问题建立了有偏预测和约束预测。还研究了随机线性约束回归模型的局部影响与诊断问题。研究了具有随机线性约束线性模型的岭回归的局部影响。获得了基于不变方差、响应和解释变量扰动的诊断量。 其次是统计理论相关的矩阵问题研究,主要围绕广义逆、矩阵扰动和条件数统计计算进行的,矩阵扰动是统计诊断面临最多的问题,我们在这方面一直都有深入的研究工作,获得了一些非常理想的结果,如研究加权线性最小二乘问题的柔性条件数的推导和统计估计。对于非线性矩阵方程,研究了四种不同类型的条件数,并给出了显示表达式。 第三是基于模型选择的相关统计理论与金融大数据实证研究,针对具有纵向数据的线性模型,提出了一种有效且具有光滑阈的广义估计方程。我们提出的方法是基于有界的指数得分函数和基于杠杆的加权,以获得响应变量和协变量域存在异常的稳健性。通过引入一个额外的调节参数获得稳健性和有效性。研究表明这个方法是接近最优的,并且优于文献提出的变量选择方法。针对广义变系数部分线性模型,其中非参数系数通过多项式样条近似,我们给出了一种新的有效稳健估计程序。基于修正的Cholesky分解和B样条逼近的方法,用广义的光滑门限估计方程对半参数纵向数据模型做稳健分析,利用有界核函数和杠杆权值使模型具有更好地稳健性。对于系数具有非负约束时的高维稀疏线性回归模型,我们提出了非负LASSO方法用于变量选择。为了得到非负LASSO的解,我们研究了很多算法,如LARS,GLMNET,坐标下降算法等。通过非负LASSO和非负Elastic net的研究用于市场成分股的选择,如研究指数跟踪,根据中国市场的特点,研究了变量选择和指数跟踪问题,结果表明非负LASSO能够得到更小的跟踪误差。完全可以通过选择的变量实现对整体市场的指数吻合,从而达到保值或风险对冲目的。