阿里：GD2PO缓解多奖励冲突
📖标题：GD2PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization
🌐来源：arXiv, 2606.16771v1
🛎️文章简介
🔸研究问题：大模型后训练强化学习中，如何解决多维度奖励信号相互抵消导致优化效率低下的问题？
🔸主要贡献：论文提出GD2PO算法，通过冲突感知过滤和查询级重加权机制，有效消除多奖励冲突并显著提升训练效率。
📝重点思路
🔸针对现有GDPO方法在聚合优势时正负信号相互抵消的缺陷，提出组动态奖励解耦策略，在损失聚合前拦截跨奖励冲突。
🔸设计Rollout级冲突感知过滤机制，包含硬过滤和信噪比过滤两种规则，剔除各维度奖励优势方向严重不一致的样本。
🔸引入查询级重加权策略，利用过滤后的样本保留比例作为一致性代理指标，动态调整每个Query的策略更新强度以稳定训练。
🔸将上述机制整合为统一目标函数，使模型聚焦于多奖励共识样本，避免无效梯度干扰，从细粒度和全局粒度双重缓解冲突。
🔎分析总结
🔸在工具调用和有用性-安全性对齐任务中，GD2PO在多个基座模型上均显著优于GRPO和GDPO等基线方法。
🔸两奖励设置下硬过滤效果更佳，而在三奖励复杂场景中，基于信噪比的软过滤因能区分轻微分歧与严重冲突而表现更优。
🔸消融实验证实查询级重加权带来了额外性能增益，且SNR阈值在一定范围内具有鲁棒性，无需精细调参。
🔸训练过程中的冲突比率分析表明，多奖励冲突是普遍存在的动态现象，验证了冲突感知过滤作为通用机制的必要性。
🔸案例研究显示该方法提升了语义层面的决策质量，如准确追踪工具依赖和在安全对齐中提供更清晰的边界引导。
💡个人观点
论文借鉴DAPO的动态采样思想，将其从单一正确性验证拓展至多维奖励一致性检测，在优势聚合前进行样本级“清洗”，从根本上解决了信号抵消问题。