【原理】线性回归模型-基本原理

线性回归模型是机器学习中最基础的模型，它假设X与Y之间符合线性关系，然后用线性模型来拟合样本点，这节我们就先来讲讲线性回归模型的相关原理以及它的求解方法。

一、线性回归-模型介绍

1.1. 线性回归-模型思想

线性回归模型简单地假设各个x变量与y是线性关系，也就是：

在x为单变量时，线性回归的几何意义就是用一条直线去拟合样本点：

线性回归模型的目标是使拟合值与真实值的均方差MSE最小，如下：

其中，和分别代表第样本的预测值和真实值

1.2. 线性回归-模型表述

线性回归模型的矩阵表示形式为：

需注意，这里的X是原变量再加上一列常数1: 

它的损失函数表述为：

备注：这里的代表二范的平方。

二、线性回归-模型求解

2.1. 线性回归的求解-最小二乘法

线性回归模型，可以直接根据最小二乘法的求解公式来进行求解，公式如下：

最小二乘法的推导，可详见《最小二乘法-推导》。

2.2. QR分解优化最小二乘法

虽然可以直接使用最小二乘解公式来求解线性回归模型，但实际使用计算机求解时，往往是使用QR分解的方式，避开最小二乘解中复杂的逆矩阵计算。这主要是因为最小二乘解公式需要求的逆矩阵，这样计算较为复杂。

什么是QR分解：
QR分解是指，将列满秩的矩阵A，分解为正交矩阵Q与上三角矩阵R的积
即： 
其中, Q列与列之间两两正交, R为非奇异上三角矩阵

由最小二乘法的求解公式，与QR分解公式，则有：

由此可得，QR分解方法求解最小二乘解的公式如下：

其中，和由进行QR分解得到

R是一个上三解矩阵，它的逆比的逆更容易求取，但值得注意的是 ：  不一定满秩，也就不一定有逆矩阵，以上求解方法将失效。

结束语

线性回归模型就只是希望用一条直线去拟合样本点，而它的目标拟合误差最小化，在理论上，线性回归只需要用最小二乘法就可以直接得到模型的最优解了，但在实现时，往往会结合QR分解来使得计算量降低。