Meta：FADE自适应优势函数优化RL
📖标题：Don’t Let Gains FADE: Breaking Down Policy Gradient Weights in RL
🌐来源：arXiv, 2607.01490v1
🛎️文章简介
🔸研究问题：如何解决大语言模型强化学习后训练中普遍存在的训练不稳定与生成多样性崩溃问题？
🔸主要贡献：论文提出统一分析框架解构策略梯度权重，并设计出自适应优势函数FADE以动态平衡探索与利用。
📝重点思路
🔸构建统一分析框架，将任意优势函数分解为正负梯度质量，沿符号轴、难度轴和尺度轴三个正交维度进行解析。
🔸揭示符号失衡的两种崩溃机制：过度强化成功样本导致熵崩溃（复制正样本），过度抑制失败样本引发权重更新的秩1崩溃（单纯远离负样本）。
🔸阐明难度聚焦的权衡关系，关注难题虽能提升梯度信息量但会增加方差，需根据训练阶段动态调整关注点。
🔸提出FADE算法，通过监控在线解题率和策略熵，自动调度梯度权重的难度聚焦参数与符号偏置参数。
🔸采用延迟利用策略，训练初期保持符号平衡并聚焦前沿难题以促进探索，熵下降后自动转向失败偏置以加速收敛。
🔎分析总结
🔸FADE在7B和32B模型上分别比最优静态基线提前2万步和2千步达到峰值pass@1性能。
🔸FADE在LiveCodeBench和AIME基准上实现了所有pass@k指标中最佳的准确率与多样性权衡。
🔸消融实验证实，移除符号自适应会导致熵崩溃，移除难度自适应则丧失多样性，两者需响应不同信号。
🔸权重空间SVD分析表明，目标熵参数可连续控制更新矩阵从全秩向秩1结构的平滑过渡。
🔸固定优势函数无法同时满足训练全程的符号平衡与难度聚焦需求，验证了动态调度的必要性。
💡个人观点
论文跳出了单一优势函数的设计陷阱，指出强化成功与抑制失败在几何层面引发的不同崩溃模式。