Counterfactual Reasoning for Steerable Pluralistic Value Alignment of Large Language Models
文章核心总结
本文聚焦大语言模型（LLMs）的多元价值对齐问题，提出COUPLE框架，通过结构因果模型（SCM）和反事实推理，解决现有方法在价值复杂性（忽略价值间依赖与优先级）和价值可控性（难以精准调控细粒度价值）上的核心挑战，实现更准确、可解释的多元价值对齐。
主要创新点
- 首次明确核心挑战：点明多元价值对齐需解决的两大关键问题——价值复杂性（多价值维度的相互依赖与优先级）和价值可控性（细粒度价值优先级的精准调控）。
- 提出COUPLE框架：融合结构因果模型（SCM）与反事实推理，SCM建模价值间依赖关系及价值-行为因果链路，反事实推理实现细粒度价值调控，支持未见价值目标的对齐。
- 双阶段适配能力：既支持闭源大模型的推理时对齐（三步骤流水线：价值归因→价值干预→反事实预测），也可通过合成数据为开源小模型提供微调支持（朴素SFT与基于推理的SFT）。
- 增强可解释性：通过提取价值概念（价值的行为指标），使价值对齐过程透明化，生成结果可追溯价值优先级的影响。
翻译部分（Markdown格式）
Abstract
随着大型语言模型（LLMs）日益融入服务不同文化、社群和人群的应用中，使模型对齐超越平均原则（如有益性、诚实性、无害性HHH）的多元人类价值至关重要。在施瓦茨价值理