在数据和计算机程序的世界里，机器学习这个概念可能听起来像一个难啃的硬骨头，充满了棘手的数学和复杂的想法。

这就是为什么今天我想放慢脚步，解释让这一切发挥作用的基础知识。我将通过一个机器学习基础教程系列，用更直观的方式向大家解释机器学习中的一些关键概念，帮助大家更好更轻松地入门机器学习。

在教程系列的上一篇文章中，我们从基础着手解释了简单线性回归的工作原理。

今天的主角是逻辑回归（Logistic Regression），我们将重温这个简单而又超级重要的模型，它是机器学习的基础。可以把它想象成一个大拼图的简单部分。我们要回到简单的东西上，让大家都能理解其中的原理。

让我们一起探索逻辑回归，一步一步地弄清楚它是如何工作的吧!👇🏻🤓

1. 从数据到决策的路径

在广阔的机器学习算法中，逻辑回归是解决二分类问题的最佳模型。

当输入数据是分类变量，而输出需要做出二元判断时，逻辑回归就是我们可以信赖的方法。

逻辑回归不仅仅是一个统计工具，更是一种讲述故事的设备，它能将数值型数据转化为二元结果。

2. 逻辑回归介绍

想象你站在一个十字路口，每条路都通向不同的结果，你只能做出两种选择：是或否，真或假，A 或 B。

逻辑回归就是这个二分类领域的女王👑👑👑。

逻辑回归的核心是概率。它衡量的是某个事件发生的可能性。

它的主要目标是什么呢？🎯

👉逻辑回归旨在找出给定输入属于某个类别的概率。

3. Sigmoid 函数

逻辑回归基于 Sigmoid 函数，这是一条数学曲线，可以将任何实际输入值映射到 0 到 1 之间的值，适合用于概率解释。

这就是逻辑回归演奏其乐章的概率空间。

这个函数的优雅之处在于它的简单性：它将线性方程（就像一条笔直的道路）弯曲成 S 形曲线，优雅地从一种状态过渡到另一种状态。

3.1 从线性回归到逻辑回归

步骤1. 线性回归基础：我们从线性回归方程 的表示开始。其中:

• 是因变量（我们试图预测的结果）。
• 是自变量（预测因子）。
• 和 分别表示回归线的斜率和 截距的系数。

主要问题是什么？

图示显示，线性回归通常会拟合一条穿过数据点的直线。

步骤2. 概率调整：由于线性回归的输出可以超出 [0, 1] 的范围，这不适合表示概率，因此方程调整为 ，以反映正在建模的是概率 ，而不是直接测量 。

步骤3. 几率转换。然而，P 仍可能取小于 0 或大于 1 的值，这对概率来说是不实用的。因此，为了将 P 限制在 [0, 1] 之间，需要计算几率。

步骤4. 对数转换：应用对数转换，得到方程 。这是从线性回归转向逻辑回归的关键一步。这种转换使我们能够将 建模为 的线性组合，但却是在对数几率空间建模，而不是概率空间。

步骤5. Sigmoid 函数导出：通过重新排列对数几率方程，得到 。这个方程表示 Sigmoid 函数，它将 限制在 0 和 1 之间。它将 的线性组合转化为概率。

4. 数学上如何得到它呢？

对于二分类问题，模型输出对应于预测 y 为以下概率：

• 当输出为类别 A 时，y = 1。
• 当输出为另一个类别 B 时，y = 0。

当然，这种编码反之亦然。

如果将这定义为我们的假设，就可以在数学上得到最小化它的代价函数，即二元交叉熵或对数损失。

从损失函数我们可以看到：

• 如果预测错误，损失函数会趋于无穷大。
• 如果预测正确，损失趋向于 0，因此达到最小值。

我们接着往下看...

5. 使用梯度下降找到最优解

正如我们在之前的线性回归文章中所看到的那样，梯度下降是一种关键的优化算法，用于最小化代价函数，帮助我们找到预测模型中最准确的权重值。

设想你站在山顶上，目标是到达下面的山谷 - 这代表了我们代价函数的最低点。

为了达到目标，我们从权重 A 和 B 的初始猜测开始，并用迭代的方式不断改进这些猜测。

这个过程类似于下山：每走一步，我们都会评估周围的情况，并调整路线和方向，确保后续的每一步可以让我们越来越接近谷底。

这些步骤是通过学习率（learning rate）来指导的 - 这是一个很重要的超参数，用 表示。这个学习率控制了我们的步长或对参数 A 和 B 的调整，确保我们不会超过最小值。

在每一步中，我们都会计算代价函数关于 A 和 B 的偏导数，分别记为 和 。这些导数指示了代价函数下降最快的方向，就像在我们比喻的山坡上找到最陡峭的下降路径一样。

在每次迭代中，A 和 B 的更新方程如下，考虑了学习率：

这个过程会重复进行，直到我们达到一个代价函数的减少可以忽略不计的点，这表明我们已经到达或接近全局最小值 - 这就是我们的目标，在这里预测误差最小，模型准确性最大。

6. 模型评估

为了评估我们模型的性能，有以下几种不同的方法：

• 混淆矩阵：一个用于描述分类模型性能的表格。它将预测结果分为真阳性、真阴性、假阳性和假阴性。通过这些指标，我们可以清楚地了解模型的预测准确性以及误差的本质。

• ROC曲线：一种可以说明模型在不同阈值水平下正确预测正类能力的图形，它提供了在敏感性和特异性之间寻求平衡的见解。

• AUC：代表"ROC曲线下面积"，这个指标量化了模型区分类别的整体能力，值越高表示性能越好。

7. 算法背后的假设

每个模型都基于假设，逻辑回归也不例外。它假定:

• 输出是二元的
• 对数几率与自变量之间存在线性关系
• 自变量不存在多重共线性
• 样本大小足以将可靠地洞察转化为数据模式

8. 总结

逻辑回归的魅力在于它将数据转化为可操作的洞见。它证明了统计学和机器学习在一次次二元决策中理解世界的力量。

从医疗保健预测到金融预测，逻辑回归已经被证明是机器学习领域一种多功能且可靠的算法。

这证明了在日益复杂的数据驱动宇宙中，简单性才是永恒不变的主题。

感谢你的阅读，希望今天的你有所收获🫰🫰🫰

推荐阅读👇👇👇

机器学习基础：一文搞懂简单线性回归的原理，新手也能看懂！

机器学习基础：一文搞懂“二分类之王”—支持向量机（SVM）背后的数学原理

Python自动化：适合新手练习的5个有趣又实用的Python脚本，帮你快速掌握编程技能！拿走不谢！

万字长文：数据科学中 25 个最重要的数学概念（收藏！！！）

神经网络中的梯度累积及其工作原理

- END -

🌟 喜欢这篇文章吗？给个赞支持一下吧！🌟

如果你发现今天的内容对你有帮助，不妨点个赞并关注我，第一时间接收更多关于Python、数据分析和机器学习的深入分析和最新趋势。我们一起探索数据的力量，解锁AI的潜能。你的每一次互动都是对我的极大鼓励，也是我们共同成长的动力！

👇👇👇 关注并开启星标提醒，让知识与技能的火花不断在你的职业道路上燃烧吧！