【附件】最小二乘法-公式的推导

好了，之前我们使用过最小二乘法来求解线性回归模型，这节我们一起来看看它的推导过程。有兴趣的可以看下，没兴趣的跳过也就可以了，但一定要知道的是，最小二乘法可以求解线性回归问题。

一、最小二乘法是什么

在说最小二乘法之前，我们先来晒两个矩阵X和Y。假设已采集 x 和 y 的m个样本，用矩阵表示的个样本，用维列向量 表示的个样本，形象点就是如下图示：

1.1. 最小二乘问题-应用定义

好了，假设用来拟合 y ，则所有样本的预测误差平方和为：

这里m是样本个数，代表第i个样本的x和y

事实上，上式也可以写为矩阵形式，那么就是：

现在我们要求解使E最小的w，那么这个问题，就称为最小二乘问题，从上面的问题背景，可以认为就是找出x的系数，使得它与y的误差最小。

1.2. 最小二乘问题-数学定义

而事实上，我们也可以从更纯粹的数学角度来看待最小二乘问题，那么最小二乘问题就是：

现有，求一，使 最小

而从数学角度来看，最小二乘问题的意义是，找出一个w，使得Xw最佳迫近Y，怎么说呢，其实就是仅用X的各列，如何线性组合出一个与Y最接近的。

1.3. 最小二乘问题-求解公式

好了，这里我们直接晒一下最小二乘问题的求解公式，如下：

上面的w，就是最小二乘问题的最佳解，也就是它能令 最小。好了，如果公式有些抽象，那不妨来图示一下，如下：

上面我们说了最小二乘问题，以及它的求解公式，那下面我们就继续来说说，这个公式是怎么推导出来的。

二、最小二乘法-公式推导

要推导最小二乘法的求解公式，其实思路很简单，因为驻点就是最佳解了，因此我们只需要令E(w)的偏导全为0，然后再联立求解出w就可以了。话不多说，马上开干！

最小二乘法的误差函数为：

对于单个w，在E中的偏导如下：

根据单个分量的形式，就可以推广到整体w的偏导为：

接下来令它为0，就可以求得驻点如下：

这就得到了最小二乘法的求解公式：

总结

最小二乘法就是找一个w，使得X的各列组合后与真实的y最佳迫近，它有精确的公式解，而公式的推导过程也很简单，只需找到误差函数中的驻点就可以了，也就是先求偏导，再令偏导为0，进一步化简就可以了。