【总结】逻辑回归模型-学习总结

前面学习了逻辑回归模型，最后，我们来简单地总结和提炼一下，巩固逻辑回归模型的学习与理解。

一、逻辑回归-总结

逻辑回归模型是用于做二分类，它输出属于分类1的概率，模型的表达式、损失函数、求解算法如下：

1.1. 逻辑回归-模型表达式

逻辑回归的模型表达式如下：  

从表达式可以看到，逻辑回归模型相当于用线性函数来得到样本属于正样本的综合评估值，再用sigmoid函数将综合评估值转换为概率值。

1.2. 逻辑回归-损失函数

逻辑回归用交叉熵来作为损失函数，如下：   

交叉熵意味着基于模型的认知概率P之下，在得知样本真实标签时所获得的信息的期望值，也就是认知越准确，那交叉熵就越小，因此逻辑回归模型以交叉熵作为损失函数，实际就是希望模型给出的概率与真实标签更加接近。

1.3. 逻辑回归的模型求解

逻辑回归模型无法直接靠公式来求得精确解，而是使用梯度下降等算法进行优化。

梯度下降法求解逻辑回归流程如下：

简单来说，就是先初始化W，然后：

1. 计算损失函数当前的梯度

        梯度公式为： 

2. 将W往负梯度方向调整

不断循环(1)和(2)，直到达到终止条件(例如达到最大迭代次数)。

这里我们用梯度下降法求解逻辑回归，主要是作为入门，可以顺带学习梯度下降算法，而实际上，在软件包中，例如matlab，使用的就不是梯度下降法，而是牛顿法，牛顿法更为精妙和有效，但原理也更复杂。

结束语

逻辑回归是一个无处不在的模型，在这里我们初步学习和了解了逻辑回归模型，同时也了解了梯度下降算法、交叉熵等内容，所以既是学习逻辑回归模型，也是顺带学习机器学习中一些常见的基础内容，慢慢的积累，就会发现学习到的东西越来越多。