【模型】逻辑回归-模型简单- 介绍

逻辑回归( Logistic Regression)模型是机器学习中最常用的二分类模型，它输出样本属于正标签的概率，本文先简单地介绍逻辑回归的模型表达式，以及它的损失函数。

一、逻辑回归-模型

逻辑回归模型(Logistic regression)是机器学习中一个用于二分类的概率模型，它在线性回归的基础上，加了一个S型的sigmoid函数来解决二分类问题(逻辑问题)，因此称为逻辑回归模型。

逻辑回归模型用于二分类，它输出样本属于正标签的概率，逻辑回归模型表达式为：

矩阵形式为：

其中，

直观地理解，逻辑回归模型就是用线性模型XW来作为样本的类别判别值，然后通过sigmoid函数，进一步将判别值XW转换为概率。

二、逻辑回归-损失函数

逻辑回归使用的是交叉熵损失函数，如下：

其中，

：样本个数。                                          

 ：第i个样本的标签，要么是0，要么是1。

• 交叉熵损失函数的意义

模型预测第i个样本为1类样本的概率为，因此，模型对第i个样本预测准确的概率为：

则有：

当时，

当时，       

因此，逻辑回归的损失函数实际意义如下：

即基于模型的预测概率，在知道样本真实标签时所获得的信息量期望(熵)。

结束语

这里我们就简单地讲述一下逻辑回归模型的表达式和损失函数，毕竟大家对逻辑回归模型应该都比较熟悉了，下节我们再来讲如何使用牛顿法来训练逻辑回归模型，以及训练时的迭代公式。