逻辑回归模型（LR）是判别模型鈳以用于二分类或多分类，模型如下：

一个事件发生的几率是该事件发生的概率与不发生的概率的比值，也就是样本为正例的相对可能性在几率外面套个$log$的壳子，就变成了对数几率对数几率可用线性函数表示，这正是线性回归模型的形式故该模型也称为对数几率回歸。$$\log\frac{P\left(Y=1|x\right)} {1-P\left(Y=1|x\right)}=w \cdot x$$

线性模型不只有直线的样子在$w \cdot x$的外面加上单调可微的函数就可以得到各种非线性的样子，这些模型称之为广义线性模型线性模型嘚求解方法为基于均方误差的最小二乘法。

逻辑回归模型的参数估计可以应用极大似然估计法首先列出对数似然函数：

采用梯度下降法估计$L(w)$的极值，对上式求导：

这就是梯度的方向在每一轮迭代的时候沿着梯度下降的方向更新参数w，这个式子又叫交叉熵损失函数