【推导】岭回归(Ridge)-阈值公式

原始的岭回归模型是不带阈值的，但实际使用中它却是带阈值的，这是因为经过了转换来使它可以适用于带阈值的线性模型问题，本文讲解其中的原理与相关公式的推导。

一、岭回归-阈值公式

像岭回归这样的线性模型，它本身是不带阈值的，但实际使用中的往往又需要阈值，所以需要先把问题转换为不需要阈值，再来使用岭回归这类型的无阈值模型。下面介绍如何通过"样本中心化"的方法，将需要阈值的线性模型转为无阈值线性模型。

1.1. 思路与推导

对于无阈值的线性模型，如何使它适用于需要阈值的样本呢？

如果样本的中心是处在原点的，那么，完全就可以用模型 来拟合，而不需要用，因此，可以先把数据中心化，即

然后使用模型拟合的关系，在得到中心化数据的模型后，我们再反推出原始数据的模型。

由于、是、中心化后的数据，所以变量与,与之间的关系为：

从而得到：

1.2. 实际操作

1. 数据中心化

先将原始数据X，Y进行中心化，得到

2. 训练无阈值模型

使用中心化数据X'、Y'训练无阈值模型

3. 反推出原数据的带阈值模型

根据无阈值模型的参数和中心值，反推出原数据的带阈值模型：

其中

以上就是将一个无阈值线性模型推广为带阈值线性模型的方法和公式了。

总结

总的来说，要使无阈值线性模型变为带阈值线性模型，只需对数据进行中心化，在求得无阈值模型的系数后，再反推出原始数据中的阈值就可以了，阈值的具体公式就如文中所述。