【推导】Lasso回归模型-驻点公式

本文详细讲解坐标下降法求解Lasso时所用到的驻点公式，以及它的详细推导过程。

一、Lasso的驻点公式

本节展示Lasso回归训练时所使用的驻点公式。

1.1. Lasso回归的驻点公式

在用坐标下降法训练Lasso回归时，系数 的​迭代公式就是 在损失函数中的驻点。

系数 的​迭代公式如下：

其中tmp的计算公式如下：

  ，且有

其中，     

：样本个数                                            

 ：系数个数                                             

 ：惩罚系数，用于调节系数W的惩罚力度

该迭代公式就是 在损失函数中的驻点，下面讲解损失函数驻点的详细推导过程。

二、Lasso的驻点公式-推导过程

本节讲解Lasso回归损失函数驻点的详细推导过程。

1.1. Lasso回归的损失函数

在讲解Lasso回归损失函数的驻点推导过程之前，先回顾Lasso回归的损失函数，Lasso回归损失函数如下：

 其中，

：样本个数                              

：系数个数                              

                ：惩罚系数，用于调节系数W的惩罚力度

1.2. Lasso回归的驻点公式-推导过程

Lasso回归损失函数的驻点推导过程如下：

 一、L(wi)的驻点

 对   的偏导如下：

令其等于0，即可求得  的驻点，如下：

二、驻点公式化简

由于上述驻点公式等号右边还带有   的符号，下面对其进行化简。

分步讨论如下：

1. 如果  > 0，则：

    由于  ,  ，故  必为正，且绝对值 。

2. 如果   <0，则：

 ​  

    由于,  ，故   必为负，且绝对值。

3. 综合结论

以上两种情况，都可以总结为：

    与   同号 ，且绝对值 

即驻点公式可以写为： 

或

其中，

 ，且有

以上即的驻点公式，也就是Lasso回归用坐标下降法训练时，的迭代公式。

结束语

Lasso的驻点公式其实略为复杂，虽然直接令导数为0就可以了，但实际中由于它带有绝对号，所以需要分步讨论，这就是Lasso的驻点公式复杂的主要原因，如果不看推导过程，甚至会有些难以理解它。