本篇文章讲解线性回归的缩减方法，岭回归以及逐步线性回归，同时熟悉sklearn的岭回归使用方法，对乐高玩具套件的二手价格做出预测。

如果数据的特征比样本点还多应该怎么办？很显然，此时我们不能再使用上文的方法进行计算了，因为矩阵X不是满秩矩阵，非满秩矩阵在求逆时会出现问题。为了解决这个问题，统计学家引入岭回归（ridge regression）的概念。

岭回归即我们所说的L2正则线性回归，在一般的线性回归最小化均方误差的基础上增加了一个参数w的L2范数的罚项，从而最小化罚项残差平方和：

简单说来，岭回归就是在普通线性回归的基础上引入单位矩阵。回归系数的计算公式变形如下：

为了使用岭回归和缩减技术，首先需要对特征做标准化处理。因为，我们需要使每个维度特征具有相同的重要性。本文使用的标准化处理比较简单，就是将所有特征都减去各自的均值并除以方差。

代码很简单，只需要稍做修改，其中，λ为模型的参数。我们先绘制一个回归系数与log(λ)的曲线图，看下它们的规律，编写代码如下：

 
 
 
 
 
 
 
 
 
 
 # 打开并读取HTML文件
 
 
 # 打开并读取HTML文件
 
 
 
 函数说明:计算回归系数w
 
 
 
 # 打开并读取HTML文件
 
 
 
 
 函数说明:计算回归系数w
 
 
 
 
 # 打开并读取HTML文件
 
 
 
 
 函数说明:计算回归系数w
 
 
 
 # 打开并读取HTML文件
 
 
 

 
 

 
 
 

 我们不搞太复杂，正则化项系数设为0.5，其余参数使用默认即可。可以看到，获得的结果与上小结的结果类似。
 
 

• 与分类一样，回归也是预测目标值的过程。回归与分类的不同点在于，前者预测连续类型变量，而后者预测离散类型变量。
• 岭回归是缩减法的一种，相当于对回归系数的大小施加了限制。另一种很好的缩减法是lasso。lasso难以求解，但可以使用计算简便的逐步线性回归方法求的近似解。
• 缩减法还可以看做是对一个模型增加偏差的同时减少方法。

 

 PS： 如果觉得本篇本章对您有所帮助，欢迎关注、评论、赞！
 
 

 本文出现的所有代码和数据集，均可在我的github上下载，欢迎Follow、Star：
 
 

 
 

• 《实战》的第五章内容。

【摘要】：矩阵恢复,又称鲁棒的主成分分析,是指当某一低秩矩阵的很少部分的元素被严重破坏后,由观测矩阵恢复出原矩阵.矩阵恢复在统计、背景建模、人脸识别、机器学习、视频去噪等方面都有着非常广泛的应用.带噪声的矩阵恢复指的是原低秩矩阵除部分元素被严重破坏之外,还受到稠密的小的噪声干扰时,由观测矩阵恢复出原矩阵,其在实际应用中更加稳健.近来已被表明,带噪声的矩阵恢复可通过求解一个凸优化模型(称为稳健的主成分追踪)实现.本文主要研究的就是求解该凸优化模型的理论和算法,具体内容如下：(1)首先,重新回顾了奇异值阈值收缩算子的概念和性质,并基于凸优化中的最小最大理论和投影理论给出了奇异值阈值收缩算子的非扩张性的一个更加简单明了的证明.(2)采用迭代阈值技术,提出了求解带噪声的矩阵恢复问题的迭代阈值算法,并证明了其是线性收敛的.此外,基于对偶理论,并结合Nesterov迭代过程,Nemirovski技巧和自适应线搜索策略,分别提出了Nesterov线搜索的迭代阈值算法和自适应Nemirovski线搜索的迭代阈值算法.(3)受矩阵核范数最小化问题的不动点迭代算法的启发,提出了求解带噪声的矩阵恢复问题的不动点迭代算法,并证明了收敛性.(4)最后,对本文提出的新算法进行数值实验,并与加速的邻近梯度(APG)算法相比较.对随机产生的测试问题的数值实验结果表明,新算法的运行时间均少于APG算法,其中尤以不动点迭代算法表现最好.

【学位授予单位】：海南师范大学
【学位授予年份】：2015