【模型】线性回归模型-原理解说

好啦好啦，这里我们正正式式开始学习第一个模型啦！机器学习的第一个模型，肯定是学线性回归，因为它虽然简单，但却包含了模型中的精髓，下面我们就来正式的上手线性回归模型。

一、线性回归模型

1.1. 线性回归模型的思想

线性回归模型的思想原理是希望找到一条直线(平面或超平面)去拟合样本数据点，在x为一维时，y 与 x 组成二维平面时，可如下理解： 

1.2. 线性回归模型的表达式

不用说，大家自然都知道，线性回归的模型表达式就是一个线性函数：

而实际上呢，往往我们也会有矩阵形式来表示它：

有的同学可能会问，矩阵形式中怎么没有阈值b？是不是我写漏了？其实是因为这里，而同样地，，所以两者相乘，就有：

也就是说，它的X加多了一个常数1，而W也对应地多了一个w，然后用这个多出来的w去替代阈值b。

这种做法是不是很微妙？实际这在机器学习中非常常见，见多了也就习惯了，只要见到它忽略了阈值b，就会想到它其实是用了这种形式，毕竟，经常写文章或讨论问题就会发现，老是写阈值b非常烦人。

二、线性回归-损失函数

2.1. 线性回归的损失函数

好了，我们上面已经知道，线性回归的拟合目标，就是希望直线与样本的总均方误差最小

所以呢，它的损失函数用的就是拟合值与真实值的MSE均方误差：

备注：上标 (i) 代表第i个样本,m为样本个数，n为变量个数

同样地，我们可以把它写为矩阵形式：

有的同学又会问，式子里的又是个什么东西，它其实是二范的平方，就只是一种数学表述而已，不知道的可以去查查范数是什么，在机器学习中用来用去也就这二范的平方，所以只要知道它就是"平方和"的意思就行了。

三、线性回归-模型求解

好了，线性回归模型的模型求解，其实就是希望求令损失函数最小化的W。这直接使用最小二乘法求解就可以，最小二乘法的求解公式如下：

直接这样看可能有些抽象，下面我们用个图来看看它，如下：

好了，使用公式就可以求得令线性回归损失函数L(W)取得最小值的W了。

最小二乘法的原理也很简单，就是令L的偏导为0，再解出W就可以了，但其中的推导就需要干点苦力活，我们放在独立的篇章再来详细说说它这个公式是怎么推导出来的。

总结

好了，这节我们就学习了线性回归模型，它并不是非常复杂，而我在这里呢，主要是图着讲常识，就像线性回归，就赶快夹杂着把这些矩阵形式说清楚，这样以后才有更多的时间去慢慢习惯、适应它。