逻辑回归灵魂拷问之(二)——渐入佳境
在上篇文章中我们讲述了一些逻辑回归的常见问答，这篇文章还是继续上篇文章继续深入挖掘逻辑回归的常见问题。
1、逻辑回归的为什么采用交叉熵的损失函数
这个一般是通过极大似然估计推导出来的。由于最终的结果服从伯努利分布，我们有：
可以得到似然函数：
取可以得到：
进一步可以得到损失函数：
我们都知道交叉熵公式为：
从最大似然推导出来的损失函数刚好就是交叉熵。
2、逻辑回归的优化方法是什么，以及为什么使用该方法
逻辑回归常用的优化方法是梯度下降法。
能够采用梯度下降法的原因就是逻辑回归的代价函数是凸函数，采用逻辑回归不会陷入到一个局部最优解中，它会一直朝着全局最优靠近。
还有一个问题是为什么采用最大似然而不可以采用最小二乘法，比如这样的：
主要的原因有也是上面的式子是一个非凸的函数，容易得到局部最优解。
3、逻辑回归为什么要使用激活函数，以及为什么使用sigmoid函数，它有什么好处
sigmoid函数的好处主要有： 单调递增，可以将值压缩到0-1之间，求导非常的容易等。但是这些sigmoid的好处并不是作者采用sigmoid函数最根本的原因。满足该类条件的函数其实有很多。
主要原因用一句话解释的话就是：逻辑回归是广义线性模型中的一种，并且服从于伯努利分布，是指数分布族的一种，将逻辑回归的概率函数用指数族分布的形式表示，可以推导除来Sigmoid函数。
广义线性模型的三点假设： 1：服从指数族分布 2：给定，目标是求解，即给定在给定下的期望 3：自然参数与是线性关系：逻辑回归自然是广义线性模型中的一种
指数族分布
指数族分布一般有如下的形式：
其中：是充分统计量，一般情况下一般我们常见的正态分布，伯努利分布等都是指数族分布。
我们都知道逻辑回归是服从伯努利分布的，我们现在假设激活函数是,有:
可以得到：
将上面的式子采用指数族分布的方式写的话：
衍生问题：其实线性回归的平方还有softmax的函数都可以采用这种方法推导出来
4：逻辑回归与贝叶斯之间有没有什么联系
上一篇文章在正则化中也提到了，正则化防止过拟合的解释可以从贝叶斯的思想出发，下面我们来推导从贝叶斯到逻辑回归的正则化。 逻辑回归其实是假设参数是确定，我们需要来求解参数。贝叶斯假设逻辑回归的参数是服从某种分布的。假设参数的概率模型为。
使用贝叶斯推理的话：
对上式取
前面的式子大家很熟悉，就是逻辑回归的损失函数。现在假设服从某个分布，相当于引入一个先验的知识。如果服从均值为0拉普拉斯分布：
将代入上面的式子可以得到：
将参数用一个新的参数代替，然后就可以得到我们正则化L1的正则化项：
两部分加起来就是逻辑回归L1正则化下的损失函数了。
L2正则化也是同样的道理，只不过是假设服从均值为0的正态分布。
关于逻辑回归的问题就总结到这里了，如果有什么别的问题的话，欢迎大家一起交流。
扫码加群交流
ChallengeHub出品
推荐阅读：
原文作者：ChallengeHub；如有侵权，请联系管理员删除。
