逻辑回归核心 ——Sigmoid 函数与完整数学推导

一句话精华：逻辑回归 = 线性回归 + Sigmoid 映射，把连续值压缩到 [0,1] 概率区间，完成二分类。

一、Sigmoid 函数：从回归到分类的桥梁

逻辑回归名字带 "回归"，本质是经典二分类算法。核心就是用 Sigmoid 函数把线性回归的无穷输出映射到概率区间：

公式：

三个关键特点：

1. 自变量范围：
2. 值域：[0, 1]，完美对应概率
3. 本质：将线性回归结果映射到 [0,1]，大于阈值 0.5 判为类别 1，小于则判为类别 0

二、完整数学推导链路（4 步走）

第 1 步：线性回归结果

第 2 步：带入 Sigmoid 函数

第 3 步：二分类概率表达

第 4 步：整合为一个式子

三、求解：从似然到梯度下降

1.似然函数：所有样本概率的乘积

2.取对数似然（把乘积变求和，方便求导）

3.转为损失函数（加负号，变成最小化问题）

4.梯度下降参数更新

面试常考：为什么逻辑回归不用 MSE 而用交叉熵？

答： MSE + Sigmoid 是非凸函数，容易陷入局部最优；交叉熵是凸函数，有全局唯一最优解。