【求解】一篇入门之-QR-最小二乘

相信大家都了解最小二乘法，但是最小二乘法与QR分解结合，就不是那么多人认识了，但真正接触算法底层的工程实现，就会发现它是最小二乘法实现时的基本方法，因为它可以降低最小二乘法的计算量。好了，下面我们就来说说最小二乘法与QR分解是如何结合的，以及结合后的计算公式。

一、最小二乘法与QR分解

大家都认识最小二乘法，我们不妨先来说说它为什么要结合QR分解，然后再来说说QR分解是什么，最后看看最小二乘法是如何利用QR分解来降低计算量的。

1.1. 最小二乘法为什么要结合QR分解 

最小二乘法可以很好的解决最小二乘问题，但实际使用时往往会用QR分解来简化计算。

最小二乘问题的求解公式为：

从最小二乘法的公式我们可以看到，它需要计算的逆矩阵，这在计算上会较为复杂，所以一般会引入QR分解来简化最小二乘法的求解公式，避免直接求的逆矩阵。

1.2. 什么是QR分解

有些同学可能不知道、或忘了QR分解是什么，我们就先来简单说说QR分解是什么。

QR分解是指：对于的满秩矩阵A，可将其分解为列正交矩阵与三角矩阵的积。

QR分解如下所示：

其中，Q是列正交矩阵，即列与列之间两两正交

R是非奇异的上三角矩阵              

1.3. QR分解如何优化最小二乘法

了解了QR分解和最小二乘法，那就可以开始来正式说说QR分解具体是如何优化最小二乘法的了。

闲话少说，直接看看计算过程就知道它的原理了，如下：

对最小二乘法中的A进行QR分解，则有：

如此一来，就可以得到最小二乘法的求解公式为：

其中，由A进行QR分解得到，从中可以看到，它只需求R的逆矩阵，而R是一个上三角，计算逆矩阵较容易，因此，用计算机计算最小二乘解时，一般都将A进行QR分解，再按上述公式进行求解。

总结

总的来说，就是利用QR分解对最小二乘法中的A进行QR分解，然后就不需要计算最小二乘法中的，而只需要计算上三角矩阵R的逆，这样就会降低计算难度。