权重衰减为何放入优化器

在基于梯度下降的优化算法框架中，将权重衰减（Weight Decay）机制集成在优化器内部，是一种经过工程权衡后形成的标准且高效的设计范式。这一设计的核心逻辑源于算法实现、计算效率、数值稳定性以及与其它优化机制（如动量）协同工作等多方面的考量，而非仅仅为了方便。其本质是将L2正则化的数学目标（向损失函数添加惩罚项）无缝地融合到参数更新的迭代过程中。

1. 算法实现与数学等价性

权重衰减的数学目标是通过修改损失函数来引入对模型参数大小的惩罚。然而，在基于梯度的优化过程中，我们并不需要显式地构造和计算一个修改后的“正则化损失函数”L_reg。相反，我们可以直接推导出其对参数更新的影响，并将此影响内置于优化器的更新规则中。

对于一个参数w，原始的损失函数为L，L2正则化项为(λ/2) * w²。则正则化损失函数L_reg = L + (λ/2) * w²。其梯度为：
∂L_reg/∂w = ∂L/∂w + λ * w

在标准的随机梯度下降（SGD）中，参数更新公式为：
w ← w - η * ∂L/∂w（其中η为学习率）

如果我们要最小化L_reg，更新公式应变为：
w ← w - η * (∂L/∂w + λ * w) = w - η * ∂L/∂w - η * λ * w

可以将此式重写为：
w ← (1 - η * λ) * w - η * ∂L/∂w

这个形式清晰地揭示了“权重衰减”这一名称的由来：在每一次进行常规的梯度更新- η * ∂L/∂w之前，权重w会先乘以一个衰减因子(1 - η * λ)。将- η * λ * w这一项直接添加到优化器的更新步骤中，就实现了权重衰减。这从数学上与先构造