【原理】岭回归(Ridge)-基本原理

岭回归属于线性回归模型的改进，它在线性回归的MSE损失函数中加入了L2正则项，本文展示岭回归的模型公式与损失函数，以及它的求解公式的详细推导过程，通过本文，可以了解岭回归模型是什么，它与线性回归的区别，以及模型的求解公式。

一、岭回归-模型介绍

岭回归模型(Ridge Regression)是线性回归的一种改进，主要是线性回归求得的系数可能会过大，因此，岭回归在线性回归模型的MSE损失函数中加入二范正则项，以惩罚过大的系数。

1.1. 岭回归-模型与损失函数

岭回归模型表达式的矩阵形式如下： 

岭回归损失函数的矩阵形式如下： 

其中 是正则项的惩罚系数，代表参数W的惩罚力度。

值得注意的是，原始的岭回归模型是没有阈值的，这是因为阈值b并不需要惩罚。

1.2. 岭回归-如何拓展阈值     

岭回归可采用数据中心化的方法，来拓展为带阈值的线性模型，它先将数中心移到原点，此时，中心化后的数据适用于无阈值模型，即可先算出中心化数据的无阈值岭回归模型的W，再反推出未中心化时的数据的阈值b。

具体如下：

1. 先将数据作中心化转换：

     此时， 都是以(0,0)为中心的数据

2. 用训练岭回归模型，得到   

3. 训练后再计算阈值b：

    即可得到  

公式推导详细可参考：《岭回归-阈值公式》

二、岭回归-模型求解

下面再来看看岭回归模型的求解公式和推导过程。

2.1. 岭回归模型求解公式

岭回归的模型求解公式如下：

它与线性回归的求解公式相似，只是部分需要在对角元素上加上

2.2. 岭回归求解公式推导过程

只要令岭回归的损失函数L对W的各个偏导数为0，然后对其求解就可求得令L最小化的W，岭回归求解公式推导过程如下：

一、将L(W) 对 W求导

二、令导为0 ，即可解得 W

2.3. 关于sklearn岭回归求解的核心源码

我们不妨看下sklearn中岭回归求解的核心实现代码：

从源码可以看到，W的求解就是计算公式 

总结

岭回归模型的关键内容可以总结为4点：

【1】它就是一个线性模型。

【2】它的损失函数加入了L2正则项。

【3】它原始模型是不带阈值的，需要先中心化，再反推出阈值。

【4】它的求解只需要用公式就能得到。

好了，以上就是岭回归模型的基本原理与求解方法了~