【求解】一篇入门之-最小二乘公式

最小二乘法(Least Squares Method)是一种用于求解线性回归问题的方法，它的目标是使得预测值与真实值的最小二乘误差最小，在机器学习中属于人人都知道的一种方法，今天我们不仅来看看它是什么，还来推导它的公式是怎么得来的，赶紧开始吧！

一、最小二乘法

1.1. 最小二乘问题

最小二乘法解决的是什么问题呢？相信大家都知道了，就是有m个样本数据，包含自变量和因变量y，然后用来作为y的预测值：

现在希望与的误差最小：

其中，和分别代表第i个样本的预测值和真实值

这就是最小二乘问题了，就是求一个，使得与的最小二乘误差最小。

1.2. 最小二乘问题-求解公式

那么，取什么值的时候，能使得与的误差最小呢？

最小二乘问题的求解公式为：

这就是最小二乘法了，使用它我们就可以得到令拟合误差最小的了。

二、最小二乘法-公式推导

好了，最小二乘法的公式怎么推导出来的呢？其实很简单，只需要求w在误差函数mse中的驻点就可以了。

对于单个，有：

上式写为矩阵形式，则有：

对于整体w，则有：

接下来令它为0，求出驻点，如下：

就这样，我们就得到了最小二乘法的求解公式了，so easy!

总结

最小二乘问题是比较经典的问题，它其实就是在WX无法与Y相等时，找出一个W，使得WX最佳迫近Y。这个问题基本已经完美解决了，直接使用最小二乘的求解公式就可以了，求解公式的推导过程也很简单，就只是求驻点，然后整理出结果就可以了。