ExpRL: Exploratory RL for LLM Mid-Training——用于LLM中期训练的探索性强化学习

一、研究背景与核心问题

研究动机：稀疏奖励强化学习（RL）已成为提升LLM推理能力的标准工具，但其成功严重依赖于基础模型在RL开始前对有用推理路径的覆盖度（coverage）。如果基础模型对正确推理路径赋予的概率极低，稀疏的最终答案奖励将提供很少的学习信号，RL主要强化模型已经能很好采样的行为，导致探索不足。

核心瓶颈：初始化是扩展基于RL推理的主要障碍。传统方法通过SFT在精选推理轨迹上进行中期训练来预热模型，但这种方法需要手动指定学习内容，且对于需要组合多种技能的难题，效果有限。

二、提出的方法：ExpRL

2.1 核心理念

ExpRL（Exploratory RL）是一种基于RL的中期训练方法，使用大规模人工编写的问答数据，但不将参考解答作为模仿目标，而是将其作为奖励支架（reward scaffolds）：

• 参考解答对策略隐藏，仅用于构建问题特定的评分标准

• 策略从原始问题提示中采样（保留在线策略探索）

• LLM评判员将采样轨迹与参考比较，分配密集奖励

2.2 两种奖励变体

过程奖励的优势设计：

• 片段优势 = 当前前缀分数 - 前一个前缀分数（t>1时）

• 第一片段优势 = s₁ - s_T（防止第一步主导更新）

• 只有改善与参考对齐的片段才获得正奖励

2.3 训练流程

1. 阶段I（RL预热）：使用ExpRL在中期训练集上优化策略，最大化带KL正则化的密集奖励目标（式3）

2. 阶段II（下游RL）：从预热后的策略初始化，使用标准的稀疏二元最终答案奖励进行GRPO训练

三、实验设置

3.1 基础配置

• 策略模型：Qwen3-4B-Instruct

• 评判员：相同模型（主实验）；较小模型（扩展实验）

• 数据集：InT + POPE 中的难题-参考答案对

• 训练：阶段I 230步，阶段II 500步；每提示10个展开；温度0.8；最大长度16,384 tokens

3.2 对比基线

1. SFT：在参考解决方案上监督微调

2. 稀疏GRPO：仅使用二元最终答案奖励的标准RL

3. 自蒸馏：以参考条件基础模型为教师，训练学生模型的展开

3.3 评估基准

• AIME 2025、AIME 2026

• HMMT（2025年11月）

• IMO-AnswerBench

四、主要发现

发现1：ExpRL为下游RL产生更强的初始化

• ExpRL变体在阶段II RL后整体优于所有基线

• AIME-26上ExpRL-Process达到63%，比GRPO（58.75%）高出4.25个百分点

• 证明参考信息用于评分比用于模仿更有效

发现2：ExpRL在下游RL之前就已经改善了策略

• 阶段I后，ExpRL在保留基准上同时提高了pass@1和pass@k

• pass@k提升表明概率质量向更可能成功的推理路径转移

• 阶段II的提升源于更好的初始化，而非仅仅是额外优化

• 训练动态显示：

  • 稀疏GRPO的熵崩溃最快，解锁的提示最少

  • ExpRL保持更高熵，ExpRL-Process解锁可解决提示最快

发现3：ExpRL改变推理行为（相对于基础模型）

行为分析（使用LLM注释器分类）显示：

• ExpRL增加了验证、自我修正、回溯等搜索导向行为

• SFT丢失了验证行为

• 稀疏GRPO的行为变化较小

• 自蒸馏也增加了搜索行为，但下游性能较弱，说明需要双重覆盖：

  1. 行为的覆盖度（有助于测试时扩展计算）

  2. 问题特定知识和有效解决路径的覆盖度

发现4：ExpRL扩展到混合领域和更小评判员

混合领域实验（8B策略 + 4B评判员）：

• 数据集：4,001个示例（数学+科学QA+编程）

• ExpRL-Outcome在所有领域的pass@1上改进基础8B模型

• 在数学汇总和STEM汇总上取得最强阶段I结果

• 证明ExpRL不仅学习数学模板，能扩展到更广泛推理混合

编程领域的例外：

• 编程任务中，执行提供的环境反馈很强，参考引导相对较弱

• 校准实验显示，编程中无参考评判与参考评判可靠性相当

• 说明ExpRL适合中间推理可比较的领域，当有强环境奖励时应直接使用

评判员校准：

• 正确参考条件给出最低误置率（4B+评判员约11-19%）

• 无参考或错误参考显著降低判别能力

• 0.6B评判员不稳定 →需要最小能力阈值

• 但4B评判员可为8B策略提供有用信号（评判员无需比策略大）

五、方法优势与机制

5.1 为什么ExpRL有效

5.2 验证-生成差距的利用

• LLM在根据参考验证局部进展方面强于从头生成正确解决方案

• ExpRL利用这个差距，将奖励生成转化为支架式验证任务

• 即使在正确展开罕见时，也能提供有用信号

六、局限性与未来方向

局限性

• 需要参考解决方案作为辅助信息（并非所有领域都可用）

• 编程领域效果较弱（环境反馈更直接有效）

• 过程奖励与长度截断的交互可能导致步骤分隔符崩溃

• 评判员需要最小能力（0.6B模型不稳定）

未来方向

1. 自然语言反馈：不仅输出标量分数，还提供哪些步骤缺失/错误的语言描述

2. 前缀条件生成：结合多样化的推理前缀采样，扩展覆盖度

3. 奖励校准系统研究：探索长度归一化、评判员设计以保持稳定性

七、核心贡献总结

1. 新范式：将参考解决方案从模仿目标转变为奖励支架，用于RL预热

2. 方法创新：提出结果级和过程级两种密集奖励机制，特别是片段级优势函数的设计

3. 实证验证：在数学推理基准上，ExpRL在阶段I和阶段II均优于SFT、稀疏GRPO和自蒸馏

4. 扩展性：展示ExpRL可扩展到混合领域，且评判员可小于策略模型

5. 机制分析：通过行为分析和训练动态，揭示ExpRL通过保持探索熵、增加搜索行为和避免偏离策略过远来改善覆盖度

这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

官方项目地址在这里，如下所示：

图 1：探索性强化学习（ExpRL）。（1）在难题上，由于基础 LLM 缺乏解决难题所需的多样化解决方案的覆盖度，我们无法在高正确率（稀疏奖励）下取得好成绩。（2）为了建立覆盖度，我们使用我们的方法——探索性强化学习（ExpRL）对基础 LLM 进行中期训练。具体来说，我们利用非结构化的辅助信息（难题的参考解答），通过 ExpRL-结果奖励和 ExpRL-过程奖励，对基础 LLM 取得的局部进展给予奖励，这些奖励由 LLM 评判员给出，并基于这些奖励运行强化学习。（3）ExpRL 能够达到非平凡的最终答案正确率（由稀疏的结果级正确性衡量），这使其成为后续稀疏奖励强化学习的一个良好预热初始化。

摘要：稀疏奖励强化学习（RL）已成为提升 LLM 推理能力的标准工具，但其成功与否关键取决于基础模型中存在的覆盖度。在实践中，模型通常通过中期训练（mid-training）在精选的推理轨迹上进行预热，这些轨迹教授诸如分解、验证或自我修正等有用的基础技能。尽管有效，但这种策略需要手动指定模型应学习的内容，并且尚不清楚对于更困难的问题，这种基础技能的覆盖度是否足够，因为这些问题需要将这些技能组合成更广泛的解决策略。我们研究了一种更自动化的方法：基于 RL 的中期训练，使用大规模的人工编写的问答数据。与将参考解答视为模仿目标不同，我们的方法 ExpRL 将它们用作奖励支架（reward scaffolds）：参考解答对策略隐藏，仅用于构建针对特定问题的评分标准，以评判策略生成的推理轨迹。策略从原始问题提示中采样，而 LLM 评判员将采样的推理轨迹与参考解答进行比较，并分配结果级或过程级的密集奖励。这使得 ExpRL 能够强化局部进展、有用的中间化简和富有成效的推理行为，而稀疏的最终答案奖励往往无法对这些行为给予足够的权重。在具有挑战性的数学推理任务上，ExpRL 产生的 RL 预热效果优于 SFT、稀疏奖励 GRPO 和自蒸馏，并为后续的稀疏奖励 RL 提供了更好的初始化。额外的混合领域实验进一步表明，ExpRL 的适用性可能超出原始的纯数学设置。

1. 引言

强化学习（RL）已成为提升大型语言模型（LLMs）推理能力的标准工具。然而，其成功与否关键取决于 RL 开始前基础模型中存在的覆盖度（coverage）。如果在 RL 开始前，基础模型对有用的推理路径赋予的概率非常低，那么即使进行多次采样尝试，也可能产生很少的正确或部分正确的轨迹。在这种机制下，稀疏的最终答案奖励提供的学习信号很少，RL 主要强化模型已经能很好采样的行为。因此，初始化是扩展基于 RL 推理的一个核心瓶颈。

中期训练的目标是在稀疏奖励 RL 之前改善这个初始分布。在操作上，我们希望模型在各种难题上，将更多的概率质量放在富有成效的推理尝试上，以便 pass@k 得到改善，并且后续的 RL 有更多有用的轨迹可供强化。这种覆盖度既由基础的推理技能（如分解、验证、回溯和自我修正[4]）塑造，也由模型将这些技能组合成更广泛解题技术的能力塑造。例如，知道如何检查局部计算并不意味着模型能够为困难的组合问题识别出正确的分情况讨论并执行到底。我们的目标是建立这种更广泛的覆盖度：不仅仅是在中期训练分布上提高正确率，而是增加那些使后续稀疏奖励 RL 更有效的富有成效推理路径的权重。在操作上，我们将 pass@k 视为这种覆盖度的一个可观察代理指标。如果一个策略为某个问题的至少一条完整且富有成效的推理路径分配了非平凡的概率质量，那么重复采样最终应该能发现一个正确的展开（rollout）。因此，pass@k 的提高表明中期训练已经扩展了模型可以采样的解决策略集，即使 pass@1 仍然有限。

在这项工作中，我们研究如何使用参考解答进行基于 RL 的中期训练，而不是基于模仿的中期训练。当这些参考解答可用时，一个自然的基线是将它们转换为有监督的问题-解答轨迹，并对模型进行微调以模仿它们。然而，直接克隆那些依赖于基础模型不太可能生成的解决方案的轨迹，可能会扰乱其推理能力[9, 21]。在参考解答设置中的另一个基线是如[7]中探讨的在线策略自蒸馏。这通过训练模型自身的展开来减少来自 SFT 的离线策略不匹配，但监督信号仍然来自特权教师（privileged teacher）诱导的令牌级目标。当这个目标分布与学生模型能够可靠生成的结果相差甚远时，这种监督可能会损害泛化能力[10]。因此，当参考解答可用时，模仿和蒸馏是自然的基线，但它们可能是扩展对富有成效推理路径覆盖度的有限机制。

因此，我们提出了探索性强化学习（ExpRL），一种基于 RL 的中期训练方法，它使用参考解答为在线策略推理轨迹提供密集奖励。ExpRL 不将参考解答作为演示或提示暴露出来，而是将其用作奖励支架：它帮助评判员构建一个针对特定问题的评分标准，用于评估智能体在线策略展开的局部进展。由于策略仅从原始问题提示中采样，这保留了在线策略探索，同时提供了比典型的稀疏结果级正确性奖励更丰富的反馈。

具体来说，ExpRL 通过将每个在线策略展开与同一问题的参考解答进行比较，为其分配一个局部进展分数。我们研究了两种变体：ExpRL-Outcome 为完整的展开分配密集的结果级奖励。ExpRL-Process 为中间前缀（prefixes）分配密集奖励，为局部进展提供即时信用分配。即使模型尚未完全解决问题，这些奖励也能强化有前景的分解、正确的中间化简或有用的解题结构。通过这种方式，参考解答帮助 RL 提高富有成效推理路径的权重，而无需将参考作为目标轨迹或预言机前缀暴露给智能体。

我们在一个具有挑战性的、基于答案的数学推理的 RL 预热设置中评估 ExpRL。我们将其与 SFT、稀疏奖励 GRPO 和自蒸馏进行比较。ExpRL 产生了一个更强的阶段 I 策略，并为后续的稀疏奖励 RL 提供了更好的初始化。这些提升不仅体现在 pass@1 上，也体现在 pass@k 和推理尝试的多样性上，这与在富有成效的推理路径上覆盖度的提高是一致的。我们还发现 ExpRL 改变了模型的推理行为，相对于基础模型，增加了验证、自我修正和回溯。最后，我们在更广泛的混合领域设置中测试 ExpRL，并分析了参考条件评判提供可靠奖励的条件。这些结果表明，ExpRL 可以作为一个使用参考答案的通用预热接口。

2. 预备知识、定义与符号

3. ExpRL：用于 RL 预热的参考引导密集奖励

在本节中，我们介绍 ExpRL，一个在下游稀疏结果奖励 RL 之前的基于 RL 的预热阶段。ExpRL 使用从广泛的中期训练问答对数据集中参考解答推导出的结果级或过程级的密集（非二元）奖励。使用这些密集奖励进行 RL 旨在拓宽对富有成效推理路径的覆盖度。阶段 I 中 pass@1 和 pass@k 的提升可作为诊断，表明预热后的策略为能够达到正确解决方案的轨迹分配了更高的概率质量。目标不是手动指定孤立的技能，而是为后续的稀疏奖励 RL 强化引入更广泛的有用推理行为库。正如表 2 中基础模型（Qwen3-4B-Instruct）较差的 pass@k 所反映的那样，很明显，即使基础模型可能包含有用的推理行为，它也缺乏对推理路径的足够覆盖度。由于人工编写的解决方案与模型自身的推理轨迹有显著差异，通过离线训练（如 SFT）直接获得这种覆盖度是具有挑战性的[21]，这促使我们采用在线策略 RL 过程。

ExpRL 的设计原则。由于 ExpRL 的目标是拓宽模型的覆盖度，对于中期训练数据中的问题，仅对采样到的在线策略展开使用最终正确性的稀疏结果奖励是不够的。它仅指示展开是否最终达到正确答案，而无法区分那些取得有用中间进展的展开和那些没有取得进展的展开。因此，我们的设计原则是根据在线策略轨迹在中期训练数据中达到参考解决方案的可能性来奖励它们，即使在整体轨迹不正确的情况下也使用密集奖励。只要中期训练数据集包含需要多样化推理模式的难题，这个过程就应该有助于将概率质量转向更有成效的推理路径，并为下游 RL 提供一个更强的初始化，覆盖有用的推理路径。ExpRL 使用一个基于 LLM 的评判员来衡量与参考解决方案的相似性，并通过结果级和过程级奖励来实例化这一原则，我们接下来将讨论。

具体方法：通过密集的参考引导奖励进行 RL 预热。基于这一原则，我们的方法使用参考解决方案来构建密集奖励。这样做是可行的，因为现代 LLM 通常在根据参考验证局部进展方面比从头生成正确的解决方案更强。我们利用这种验证-生成差距来分配信息丰富的分数，从而根据采样轨迹展现的有用进展程度对其进行排序。优化这些奖励会将概率质量转移到更可能导致最终成功的轨迹空间区域，从而提高 pass@k，更重要的是，为后续的稀疏奖励 RL 建立一个更强的探索先验。

下游的目标和奖励结构不变；只有初始化不同。在实现中，我们对阶段 1 和阶段 2 使用两个不同的在线策略 RL 流水线（详见 A.1），在下游 RL 期间，将 ExpRL 使用的参考引导密集奖励替换为二元最终答案奖励。通过在稀疏奖励训练开始之前将概率质量转向富有成效的推理轨迹，ExpRL 增加了下游 RL 在训练早期遇到信息丰富展开的可能性。

总结：通过探索性强化学习 ExpRL 进行中期训练

ExpRL 是一种用于中期训练的在线 RL 方法，它使用参考解决方案来定义密集的结果/过程奖励，而不是将其作为要模仿的轨迹。通过奖励局部进展而非纯粹的正确性，它将概率质量转向富有成效的推理路径，为后续的稀疏奖励 RL 建立更强的覆盖度。

4. 实验

我们实验的目标是评估 ExpRL 在改进基础模型以用于后续 RL 训练方面的有效性。为此，我们在一个具有挑战性的数学问答对数据集上运行 ExpRL，该数据集的基础模型在 64 次独立采样（每次有 32k 令牌的响应预算）下无法解决。我们在相同数据上将 ExpRL 与替代的中期训练程序进行比较，然后从每个得到的初始化运行阶段 II 稀疏奖励 RL，并在保留的数学基准上进行评估。接下来我们描述我们的设置，然后展示结果。

4.1. 设置：数据集、评估协议和训练超参数

用于 ExpRL 的基础模型、评判员和训练数据集。我们使用 Qwen3-4B-Instruct-2507 作为策略主干（简称 Qwen3-4B-Instruct）。该模型被训练为直接在思维链中生成推理轨迹，无需 “<think>” 块。我们使用一个基于相同 Qwen3-4B-Instruct 模型的 LLM 评判员来生成密集奖励，类似于 Yang 等人 [21]。在主要实验中，我们使用基础模型的一个副本作为评判员；第 4.6 节表明，当较小的参考条件评判员为较大的策略提供奖励时，ExpRL 也能工作。我们通过 REINFORCE 训练模型以优化方程 3。更具体地说，稀疏奖励基线和阶段 II 使用 GRPO 风格的组归一化。ExpRL-Outcome 使用 GRPO 风格的归一化奖励更新。ExpRL-Process 使用 REINFORCE 风格的令牌/片段优势，无需组归一化。对于提示，我们使用了一个结合了近期工作 InT [21] 和 POPE [12] 中的难题和参考答案对的数据集。

基准。我们考虑了四个标准的、保留的基于答案的推理基准：HMMT（2025 年 11 月）、IMO-AnswerBench [11]、AIME 2025 和 AIME 2026。我们每个问题采样 128 个响应来计算评估指标。在所有情况下，我们都会评估使用 ExpRL 训练后获得的基础模型初始化以及下游 RL 训练后获得的模型。

4.2. 基线与比较

我们将 ExpRL 与几种方法进行比较，包括 (1) SFT：在中期训练集中的参考解决方案上进行监督微调，而不是运行 RL 进行中期训练；(2) 可验证的稀疏奖励 RL：仅使用基于规则验证器的二元最终答案奖励在中期训练提示上进行标准 GRPO，没有任何密集的参考引导反馈；以及 (3) 自蒸馏：一种基于蒸馏的基线，其中采样的展开针对更丰富的自教师进行训练；具体来说，我们按照 Hübottter 等人 [7] 使用以参考解决方案为条件的基础模型作为教师。

我们将这些基线与 ExpRL 的两种变体进行比较：a) ExpRL-Outcome，它为完整的展开分配密集的终端奖励，以及 b) ExpRL-Process，它为部分展开和前缀分配密集奖励。关键区别在于，蒸馏基线使用参考信息来定义令牌级目标，而 ExpRL 使用相同的信息仅对采样的推理轨迹进行评分，并在后续稀疏奖励 RL 之前塑造模型的探索先验。我们将比较重点放在那些在预热阶段使用参考信息，同时保持下游稀疏奖励 RL 不变的方法上。诸如 POPE [12] 之类的前缀引导方法研究了一个互补的设置：它们通过在下游 RL 期间暴露预言机前缀来引导探索。相比之下，ExpRL 仅在预热期间使用参考来构建奖励，并且原则上可以与前缀引导的探索相结合。

表 1：在下游稀疏奖励 RL 之后，基于答案的基准上的 Pass@1。模型使用不同的 RL 预热方法进行初始化，然后使用相同的阶段 II RL 设置继续训练，但 Qwen3-4B-Instruct 作为原始基础模型除外。总体而言，ExpRL 获得了最强的基于答案的整体性能。

4.3. 发现 1：ExpRL 为下游 RL 产生更强的初始化

我们的主要问题是，与基于模仿或仅稀疏奖励的替代方案相比，ExpRL 中的密集奖励能否为下游稀疏奖励 RL 产生更好的初始化。表 1 显示答案确实是肯定的。在经过一轮标准稀疏奖励 RL 之后，我们观察到 ExpRL 变体在保留的基于答案的基准上整体优于 SFT、稀疏 GRPO 和自蒸馏。最显著的提升出现在 AIME-2026 上，ExpRL-Process 在下游 RL 后达到 63%，而第二好的 GRPO 基线仅达到 58.75%。在其余的基于答案的基准上，ExpRL 变体 consistently 占据表格顶部，ExpRL-Outcome 在多项评估中表现最强，而 ExpRL-Process 始终具有很强的竞争力。综合来看，这些结果支持我们的核心主张：对于 RL 预热，特权参考解决方案在用于对采样的推理进行评分时，比仅用作要模仿的轨迹更有效。

4.4. 发现 2：ExpRL 在下游 RL 之前改善了预热后的策略

接下来，我们研究 ExpRL 本身是否能够在运行任何下游稀疏奖励 RL 之前，就已经提高了模型在 RL 预热后的性能。观察表 2 可以发现，ExpRL 已经在保留的基于答案的基准上产生了更强的模型，实现了更高的 pass@1 和 pass@k，并且在某些情况下（如 IMO-AnswerBench），它提高了 pass@k 覆盖度，而下游稀疏奖励 RL 随后可以进一步放大这种覆盖度。作为一个代表性例子，图 2 显示了在 HMMT 上的 pass@k 曲线，两种 ExpRL 变体在较低的 k 值时都实现了更高的通过率，并且 ExpRL-Process 变体即使在较高的 k 值下也特别强大（其他基准的 pass@k 曲线见附录 A.4）。这种区别对于解释下游稀疏奖励 RL 之后的提升（来自上述发现 1 的结果）很重要。如果 RL 预热仅仅改善了中期训练奖励，那么它不一定能转化为更强的下游稀疏奖励 RL。相反，ExpRL 在第二阶段甚至开始之前就提高了 pass@1 和 pass@k，这表明它产生了一个更好的、为 RL 准备好的初始化。因此，表 1 中的阶段 II 改进与下游 RL 受益于更强的初始策略，而不仅仅是从额外优化中受益的观点是一致的。

图 2：在 HMMT-Nov-2025 上使用 ExpRL 训练后的 Pass@k（128 个样本）。

图 3 提供了 RL 预热期间训练动态的补充视图。稀疏奖励 RL（GRPO）的熵在在线方法中崩溃得最快，并且在训练过程中解锁的提示最少。相比之下，ExpRL 变体和自蒸馏都保持了显著更高的令牌级熵，其中 ExpRL-Process 解锁可解决提示的速度最快。我们还观察到两种 ExpRL 变体内部的动态不同。ExpRL-Outcome 在后期显示出明显的熵增加，而没有相应地大幅增加响应长度，而 ExpRL-Process 则表现出响应长度的增加。虽然这些量本身不是优化目标，但它们表明 ExpRL 不仅仅是像稀疏奖励 GRPO 那样以模式寻求的方式锐化策略，而是以一种更符合在 RL 预热中建立更广泛覆盖度的方式改变了训练动态。

图 4 提供了为什么自蒸馏是一个较弱的 RL 预热目标的额外原因。在自蒸馏开始时（图 4 右侧），教师的 KL 距离比其他在线策略方法要远得多。这意味着它从一个本质上更偏离策略的目标开始。正如先前关于偏离策略蒸馏的工作所指出的，强制学习器匹配一个遥远专家分布可能导致显著的分布偏移和不稳定的优化 [8, 14]。相比之下，ExpRL 在保持在基础策略更易达到的 KL 空间内提高了覆盖度。

4.5. 发现 3：ExpRL 相对于基础 LLM 改变了推理行为

除了总体基准性能之外，我们还询问 ExpRL 是否改变了模型倾向于产生的推理类型（第 A.3 节）。图 5 表明它确实改变了。相对于基础模型，ExpRL 增加了对几种面向搜索的行为的覆盖度，特别是验证、自我修正和回溯。与失去验证行为的 SFT 和行为变化较小的稀疏奖励 GRPO 相比，ExpRL 更好地保留或扩展了与自适应搜索和持续中间进展相关的行为。自蒸馏提供了一个重要的对比：它也增加了若干面向搜索的行为，表明行为覆盖度本身并非 ExpRL 独有。然而，其在阶段 I 的 pass@1/pass@k 和下游稀疏 RL 性能在表 1 和表 2 中通常弱于 ExpRL。这表明有用的 RL 预热需要两种形式的覆盖度：对有助于扩展测试时计算的行为的覆盖度，以及对问题特定知识和富有成效解决路径的覆盖度。综合来看，行为分析支持对 ExpRL 的主要解释：参考引导的 RL 预热改变了采样轨迹的分布，这种方式既增加了有用的搜索行为，又提高了对富有成效解决路径的覆盖度。

4.6. 发现 4：ExpRL 扩展到混合领域中期训练和更小的评判员

前面的实验侧重于 4B 策略，并且主要是数学推理。接下来，我们测试关于 ExpRL 范围的两个问题。首先，参考引导的 RL 预热能否在更广泛的领域混合上改进更大的策略？其次，密集奖励信号是否真的与问题匹配的参考相关联，还是可以通过通用的 LLM 评判员置信度来解释？为了回答这些问题，我们进行了额外的混合领域阶段 I 实验和评判员/参考校准压力测试。

混合领域规模研究。我们构建了一个包含 4,001 个参考解答示例的阶段 I 混合数据集，涵盖数学、科学问答和编程（表 3）。我们使用更大的 Qwen3-8B（禁用思考功能）策略和较小的 Qwen3-4B-Instruct 评判员进行训练。表 4 显示，ExpRL-Outcome 在每项 pass① 评估（包括数学、科学和编程）上都改进了 8B 基础策略。在领域级汇总中，ExpRL-Outcome 在数学汇总和 STEM 汇总上都是最强的阶段 I 方法，无论是 pass① 还是 pass① 16。这表明参考引导的 RL 预热不仅仅是在学习数学特定的模板，还可以提高在更广泛推理混合上的覆盖度。这一结果凸显了参考解决方案在 ExpRL 中的另一个作用：它们使奖励生成成为一个支架式验证任务，而不是开放式解决方案生成。有了与问题匹配的参考，较小的 4B 评判员可以为更大的 8B 策略的在线策略轨迹提供有用的密集奖励，这表明只要评判员具有足够的能力并且以参考为条件，其规模不必与策略相匹配。

编程是混合领域模式中的一个主要例外。ExpRL-Outcome 仍然在 LiveCodeBench 上改进了基础策略，但稀疏 GRPO 仍然更强。我们认为这反映了编程任务的奖励结构：执行提供了一个异常强大的领域特定稀疏奖励，而参考引导的评判则不太自然地适合于分配局部进展信用。与数学或科学推理不同，不完整的代码可能无法编译，并且许多正确的实现可能与参考解决方案有很大差异。因此，参考支架在编程中作为环境反馈的替代品比在那些可以将中间化简与参考路径进行比较的领域中要弱。

图 5：相对于基础模型，RL 预热后的行为变化。橙色条显示预热后获得的行为，蓝色条显示失去的行为，红色数字表示净变化。面向搜索的行为指的是我们注释评分标准中可观察到的展开特征，例如验证、自我修正、探索、重新开始和回溯。ExpRL 在若干此类行为上产生了净收益，这表明参考引导的 RL 预热改变了采样轨迹的分布，而不仅仅是提高了最终正确性。

表 3：混合领域阶段 I 数据。额外的 8B 实验使用了来自数学、科学问答和编程的参考解答示例。

这与校准结果（表 6）一致，在 LiveCodeBench 上，无参考评判与参考条件评判的可靠性大致相当，这表明评判员主要依赖功能正确性，而非参考解决方案支架。因此，编程结果与我们将 ExpRL 视为阶段 I RL 预热（可以改进初始策略）的观点一致，但当有强大的环境奖励可用时，下游 RL 应直接使用它。

参考和评判员校准。接下来，我们测试密集奖励信号是否真正依赖于与问题匹配的参考解决方案，而不是简单地反映通用的 LLM 评判员置信度或表面上的合理性。为了区分这些可能性，我们固定采样的展开，并改变评判员规模和参考条件：正确的、与问题匹配的参考、无参考或来自另一个问题的错误参考。我们测量误置率，定义为 (FPR+FNR)/2，其中假阳性是将不正确的展开分配分数 >3，假阴性是将正确的展开分配分数 <4。越低越好。

表 4：8B 策略 + 4B 评判员阶段 I 结果。所有方法均在 270 步时进行评估。ExpRL-Outcome 在每项 pass@1 评估上都改进了 8B 基础模型，并在阶段 I 方法中给出了数学和 STEM 领域的最佳汇总结果。

表 5：关于 Math 和 SciKnow 的校准误置率。无参考评判较弱，而错误参考评判通常会使奖励信号不可靠，这在 4B、8B 和 14B 评判员中一致。0.6B 评判员不稳定，这表明 ExpRL 需要一个最低限度有能力的评判员和可靠的、与问题匹配的参考。

表 6：关于 LiveCodeBench 的校准误置率。对于编程，与问题匹配的参考解决方案并不关键，因为评判员主要依赖于用输入-输出对跟踪代码。

需要一个最低限度有能力的评判员。然而，上面的 8B 策略实验表明，评判员不必与策略一样大。总之，这些结果支持了这样的观点：有用的奖励信号不是通用的评判员置信度，而是针对正确的、与问题匹配的参考进行验证。

表 6 在 LiveCodeBench 上显示了不同的模式：正确参考、无参考和错误参考评判都具有同样低的误置率，其中无参考略微最佳。这表明编程评判员更多地依赖于从代码和问题规范中推断出的功能正确性，而不是参考解决方案支架。这有助于解释为什么 ExpRL-Outcome 改进了编程方面的基础策略，而基于执行的稀疏 GRPO 仍然特别强大。

5. 相关工作与讨论

RL 之前的中期训练。在现代 LLM 流程中，通常有两种在 RL 运行之前预热模型的方法，我们称之为中期训练。首先，技能诱导的中期训练注入有用的推理行为，如自我修正、回溯和验证，这些行为对探索有用，并可通过 RL 进一步放大 [4, 13, 19]。其次，覆盖度构建的中期训练旨在增加在困难数学问题上对富有成效推理路径的覆盖度，这对于具有稀疏结果奖励的困难下游任务是必要的。最近的流程依赖于 RL 之前的这些中间阶段 [16, 19, 20]，并且近期工作明确地研究了这种相互作用 [24]。传统上，这种覆盖度是通过对精选轨迹或拒绝采样的 SFT 来构建的。

解决方案 [23]，但这可能会缩小模型在 RL 期间的探索范围 [12]，并且对离线数据进行训练可能导致优化不稳定 [14]。ExpRL 专注于中期训练的第二种设置，而不是仅仅克隆具有正确最终答案的轨迹，它使用在线策略 RL 来奖励相对于参考的有用推理行为和局部进展。同时进行的工作也探索了在中期训练阶段使用 RL 生成推理轨迹以提高生成质量 [17]；我们的工作特别侧重于为稀疏奖励提供很少信号的困难推理问题建立覆盖度。

LLM RL 中的探索瓶颈。稀疏奖励 RL 很有吸引力，因为正确性通常可以自动验证，但在正确展开很少见的难题上，它会变得脆弱，导致探索不足，有时甚至会降低 RL 后的 pass@k [22, 25]。先前的工作通过内在奖励、熵正则化、基于计数的奖励、pass@n 感知目标和基于验证的信号 [2, 3, 5, 15, 18, 26] 以及研究早期训练阶段的作用 [24] 来改进学习信号。我们的方法相反地将探索转移到中期训练，在稀疏奖励 RL 之前，密集的参考引导奖励可以强化富有成效的推理路径。

6. 结论

我们通过富有成效推理路径覆盖度的视角研究了 LLM 推理的 RL 预热。ExpRL 使用具有密集参考引导奖励的在线策略 RL，在稀疏结果奖励 RL 之前建立这种覆盖度，奖励局部进展而不仅仅是最终正确性。在基于答案的数学推理基准上，这产生了一个更强的、为 RL 准备好的初始化，并改进了下游的稀疏奖励 RL。有几个方向可以进一步探索。首先，ExpRL 目前仅使用评判员生成标量过程奖励；未来的工作也可以从评判员的自然语言反馈中训练策略，为模型提供关于哪些推理步骤缺失、错误或值得继续的更丰富信息。其次，ExpRL 可以与后训练期间的前缀条件生成相结合，其中多样化推理前缀被有意采样或构建，以扩展对富有成效解决路径的覆盖度，并更好地刻画该方法的探索上限。第三，尽管我们探索了减少过程奖励偏差的初步策略，但对奖励校准、长度归一化和评判员设计进行更系统的研究，有助于在避免过度长度增长的同时保持训练稳定性。

局限性。ExpRL 需要辅助信息（如参考解决方案）来识别中期训练期间有用技术和局部进展的存在。这可能并不总是可用，尤其是在难以获得良好参考的领域。