Meta-Harness: End-to-End Optimization of Model Harnesses——模型工具链的端到端优化
这篇文章是来自斯坦福等机构的研究论文《Meta-Harness: 端到端优化模型工具链》，核心是用AI自动搜索和优化LLM应用的外围“工具链（harness）”代码，从而大幅提升系统性能。以下是全面总结：
一、研究背景与问题
工具链（Harness）指围绕LLM的代码，负责决定存储什么信息、检索什么内容、以什么形式呈现给模型。
实践表明，更换工具链可在同一基准上产生高达6倍的性能差距，其重要性不亚于模型本身。
然而，当前工具链工程主要依赖人工——工程师手动检查失败案例、调整启发式、反复迭代设计。
二、现有方法的不足
文本优化器（如OPRO、TextGrad、GEPA等）可用于自动优化提示或代码，但它们不适用于工具链工程，因为：
它们使用短视或高度压缩的反馈（仅标量分数、短摘要、当前候选方案）；
工具链的决策影响是长周期的（一个检索策略或记忆更新可能影响后续许多推理步骤），压缩反馈会丢失关键诊断信息；
这些方法每步可用的上下文通常仅100~30,000个令牌，而本研究中单次工具链评估可产生高达10,000,000个令牌的诊断信息。
三、核心方法：Meta-Harness
核心理念
让一个编码智能体（coding agent）通过文件系统访问所有先前候选工具链的源代码、评估分数和执行轨迹，然后自主提出新的工具链，形成闭环优化。
搜索循环
提案：智能体读取文件系统中的历史记录（代码、分数、轨迹），诊断失败原因，提出新工具链。
评估：在搜索集上运行新工具链，获得性能分数。
记录：将新工具链的代码、分数、执行日志写入文件系统。
迭代：重复上述过程，维护一个帕累托前沿。
关键设计选择
不压缩历史：完整保留所有候选方案的源代码和执行轨迹，智能体通过
grep、cat等工具按需检索。智能体自主决策：不预设父代选择、变异算子等固定规则，让智能体自行决定看什么、改什么。
代码空间搜索：直接修改完整的Python程序，而非填充模板或局部文本片段。
四、实验设置与结果
Meta-Harness 在三个领域进行了评估：
1. 在线文本分类（3个数据集：LawBench、Symptom2Disease、USPTO-50k）
对比：零样本/少样本、ACE、MCE，以及OpenEvolve、TTT-Discover、GEPA等文本优化器。
结果：
比ACE高7.7个点（48.6% vs 40.9%），同时上下文令牌减少4倍（11.4K vs 50.8K）。
仅用4次评估即达到OpenEvolve/TTT-Discover的最终性能，最终准确率超出10个点以上。
在9个未见过的分布外数据集上，Meta-Harness平均准确率达73.1%，优于ACE（70.2%）。
2. 检索增强的数学推理（200个IMO级别问题）
背景：数学推理中检索很少被使用，因为朴素检索难以找到正确示例。
方法：让Meta-Harness在50万道题的语料库上搜索最优检索策略（BM25变体），为每个问题动态选择路由（组合/几何/数论/默认）。
结果：
在5个未见过的模型上平均提升4.7个点（38.8% vs 34.1%无检索基线）。
超过BM25检索（37.5%）、稠密检索（34.4~38.1%）和随机少样本。
3. 智能体编码（TerminalBench-2，89个复杂命令行任务）
背景：TerminalBench-2是竞争激烈的前沿基准，多家团队直接针对其优化。
方法：从Terminus-KIRA基线出发，搜索更优工具链配置。
结果：
在Claude Opus 4.6上达到76.4%通过率，排名第2（超越Terminus-KIRA 74.7%）；
在较弱的Claude Haiku 4.5上达到37.6%，排名第1，超越Goose（35.5%）；
发现的关键改进是环境快照引导，在智能体循环前注入系统环境信息，消除了2~4个浪费的探索回合。
五、关键洞察与分析
为什么Meta-Harness有效？
完整的执行轨迹访问使智能体能够进行因果推理。在TerminalBench-2的搜索日志中，智能体识别出早期失败是“提示编辑”与“结构修复”的混淆，主动将两者解耦，然后转向更安全的纯加法修改，最终获胜。
消融实验表明：仅提供标量分数的中位数准确率为34.6，分数+摘要为34.9，而完整轨迹达50.0，证明原始执行轨迹是核心信息源。
泛化性
发现的工具链可迁移到未见过的数据集（分类）和未见过的模型（数学推理）。
工具链代码是可读、可检查的，脆弱的硬编码逻辑可在检查时发现，不像权重空间那样不透明。
六、局限与未来方向
依赖特定编码智能体（Claude Code + Opus-4.6），不同生成器的影响有待更广泛研究。
未来可探索工具链与模型权重共同进化，使外部策略与内部表示相互塑造。
当前主要应用于3个领域，更多领域的适用性需进一步验证。
Meta-Harness 是一个通过编码智能体和完整历史文件系统访问，自动搜索优化LLM外围工具链代码的系统，在文本分类、数学推理和智能体编码三个任务上均大幅超越人工设计和现有自动优化方法。
这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：
官方项目主页地址在这里，如下所示：
项目地址在这里，如下所示：
Artifact在这里，如下所示：
图 1：（左图）在文本分类任务上，Meta-Harness 的性能超越了先前最佳的人工设计工具链（ACE）以及现有的文本优化器（TTT-Discover, OpenEvolve），仅需 4 次评估就达到了次优方法的最终准确率。（右图）在 TerminalBench-2 基准上，Meta-Harness 超越了所有已报告的 Claude Haiku 4.5 工具链。
摘要
大型语言模型（LLM）系统的性能不仅取决于模型权重，还取决于其工具链（harness）：即决定存储、检索和向模型呈现哪些信息的代码。然而，工具链目前仍主要由人工设计，现有的文本优化器与这一场景并不匹配，因为它们过于激进地压缩了反馈信息：它们要么是无状态的，只依赖于标量分数，要么将反馈限制在简短的模板或摘要中。我们提出了Meta-Harness，一个用于搜索 LLM 应用工具链代码的外层循环系统。它使用一个智能体生成器（agentic proposer），该生成器通过文件系统访问所有先前候选方案的源代码、分数和执行轨迹。在在线文本分类任务上，Meta-Harness 相较于最先进的上下文管理系统提升了 7.7 个点，同时使用的上下文令牌数减少了 4×。在检索增强的数学推理任务上，单个发现的工具链在 200 个 IMO 级别的问题上，对五个未见过的模型平均提升了 4.7 个点的准确率。在智能体编码任务上，发现的工具链在 TerminalBench-2 基准上超越了最佳的人工设计基线。这些结果共同表明，对过往经验更丰富的访问方式能够实现工具链工程的自动化。
1 引言
更改围绕固定大型语言模型（LLM）的工具链，可能在同一基准上产生高达 6× 的性能差距 [47]。工具链——即决定存储、检索和向模型展示何种信息的代码——其重要性往往与模型本身相当。这种敏感性激发了人们对工具链工程日益增长的兴趣，即改进 LLM 外围代码以提升整体系统性能的实践 [36; 21; 10; 9]。尽管其重要性不言而喻，工具链工程在很大程度上仍然是手动的：实践者检查失败案例、调整启发式规则，并迭代少数设计方案。在本文中，我们探讨这一过程本身能否实现自动化。
一个自然的起点是近期关于文本优化的工作，因为工具链工程也涉及到利用先前尝试的反馈来迭代改进文本和代码工件 [38; 39; 35; 26; 1]。然而，这些方法并不适用于工具链工程，因为它们通常基于短视或高度压缩的反馈进行操作：一些方法仅依赖于当前候选方案 [31; 51; 53]，另一些主要依赖标量分数 [35; 12]，还有一些将反馈限制在短模板或 LLM 生成的摘要中 [1; 26]。这是一种务实的可扩展性选择，而非表明长程依赖性信息无用。工具链在长周期内运作：关于存储什么、何时检索或如何呈现信息的单一选择，可能会影响后续许多推理步骤的行为。压缩后的反馈通常会移除追溯下游失败至早期工具链决策所需的信息。在几个代表性文本优化器所研究的任务中，每个优化步骤可用的上下文范围仅为 100 到 30,000 个令牌（表 1），远低于工具链搜索的诊断需求。更广泛地说，关于检索和记忆增强语言模型的研究表明，有用的上下文通常应该被自适应地访问，而不是被整体打包到单个提示中 [28; 48; 37; 56]。
我们通过Meta-Harness解决了这一限制，这是一个用于通过端到端搜索优化工具链的智能体式工具链（图 2）。它的生成器是一个编码智能体（coding agent），即一个可以调用开发者工具和修改代码的、基于语言模型的系统。选择编码智能体（而非原始 LLM）很重要，因为经验积累的速度很快会超出上下文限制，因此生成器必须决定检查什么，并通过与代码库的直接交互来验证编辑。其关键设计选择是通过文件系统公开完整历史记录，从而能够选择性地诊断原始的先前代码和执行轨迹，而不是从压缩的每个候选方案的摘要中进行优化。对于每一个先前的候选工具链，文件系统都存储了其源代码、评估分数和执行轨迹，生成器通过诸如grep和cat等标准操作来检索这些信息，而不是将它们作为一个单独的提示整体接收。在实践中，在我们要求最高的设置中，生成器每次迭代平均读取 82 个文件，每步参考超过 20 个先前的候选方案（附录 A）。在我们研究的设置中，单次评估可以产生高达 10,000,000 个令牌的诊断信息，这大约比先前文本优化设置中使用的最大反馈预算高出三个数量级（表 1）。
图 2：Meta-Harness 搜索循环。(1) 一个智能体读取包含所有先前候选方案的源代码、执行轨迹和分数的文件系统，并提出一个新的工具链。(2) 我们在评估任务上评估所提出的工具链。(3) 所有日志（提出的代码、推理轨迹、评估分数）都被存储到文件系统中的一个新目录中，然后循环重复。
一个自然的起点是近期文本优化工作，因为工具链工程也涉及利用先前尝试的反馈来迭代改进文本和代码工件 [38; 39; 35; 26; 1]。然而，这些方法与工具链工程不太匹配，因为它们通常使用短时或高度压缩的反馈进行操作：有些仅依赖于当前候选 [31; 51; 53]，另一些主要依赖标量分数 [35; 12]，还有一些将反馈限制在短模板或 LLM 生成的摘要中 [1; 26]。这是出于实际扩展性的选择，而非证据表明长程依赖无信息量。工具链在长周期内运行：一个关于存储什么、何时检索或如何呈现的选择可能会影响许多推理步骤后的行为。压缩反馈通常会移除追溯下游故障至早期工具链决策所需的信息。在几个代表性文本优化器研究的任务中，每个优化步骤可用的上下文范围仅为 100 到 30,000 个令牌（表 1），远低于工具链搜索的诊断规模。更广泛地说，关于检索和记忆增强语言模型的工作表明，有用的上下文通常应自适应地访问，而非整体打包到单个提示中 [28; 48; 37; 56]。
我们通过 Meta-Harness 解决此限制，这是一个用于通过端到端搜索优化工具链的智能体式工具链（图 2）。其生成器是一个编码智能体，即一个基于语言模型的系统，可以调用开发者工具并修改代码。选择编码智能体（而非原始 LLM）很重要，因为经验量会迅速超出上下文限制，因此生成器必须决定检查什么，并通过与代码库的直接交互来验证编辑。其关键设计选择是通过文件系统公开完整历史，从而能够选择性地诊断原始先前代码和执行轨迹，而不是从压缩的每个候选摘要中进行优化。对于每个先前的候选工具链，文件系统存储源代码、评估分数和执行轨迹，生成器通过标准操作（如 grep 和 cat）检索，而非将它们作为单个提示输入。在实践中，在我们要求最高的设置中，生成器每次迭代读取中位数 82 个文件，每步参考超过 20 个先前候选（附录 A）。在我们研究的设置中，单次评估可产生高达 10,000,000 个令牌的诊断信息，大约比先前文本优化设置中使用的最大反馈预算高出三个数量级（表 1）。
我们在在线文本分类、数学推理和智能体编码上评估 Meta-Harness。在在线文本分类上，Meta-Harness 发现的工具链比 Agentic Context Engineering (ACE, Zhang et al. [59]) 提高了 7.7 个点，同时使用的上下文令牌数减少了 4×，并且仅用 4 次评估就达到了次优文本优化器的最终性能（图 1）。在检索增强的数学推理上，单个发现的工具链在 200 个 IMO 级别的问题上，对五个未见过的模型平均提升了 4.7 个点的准确率。在 TerminalBench-2 基准上，发现的工具链超越了 Terminus-KIRA，并在所有 Haiku 4.5 智能体中排名第一。
2 相关工作
从高层次来看，Meta-Harness 将更广泛的信用分配和元学习文献 [40; 46; 3; 17; 44; 2] 中的思想带入了由编码智能体最新进展所开启的新领域。该系统并非更新模型权重，而是在工具链层面分配信用：它利用过往执行的经验来仔细推理哪些步骤和组件导致了失败，然后重写控制未来行为的外部代码。更具体地说，该方法位于几个近期研究方向的交叉点；它与自适应访问外部上下文、可执行代码搜索和文本优化的工作最直接相关。
外部记忆与自适应访问。几项先前的工作指出了将大型知识源或长输入作为外部资源、由语言模型自适应访问的好处，而不是一次性消费它们。具体来说，检索增强生成 [28]、检索与推理交错 [48]、基于记忆的智能体 [37] 或递归语言模型 [56] 都是自适应访问外部上下文的机制。Meta-Harness 使用了类似的访问模式，但在更苛刻的工具链工程环境中，生成器选择性地检查大量外部代码、分数和执行轨迹历史，以改进上下文管理程序本身。
可执行代码搜索。近期方法搜索函数、工作流或智能体设计的可执行代码。早期工作提出使用大型模型作为进化程序搜索中的突变和交叉算子 [27]。后来的方法在固定程序框架内进化指定函数 [39]，使用元智能体根据先前发现编程新智能体 [20]，或搜索智能体系统的工作流图 [58]。另一条工作线搜索持续学习智能体的记忆设计，其中记忆跨任务流持久化 [57; 50]。相比之下，Meta-Harness 搜索特定领域的工具链，包括提示构建、检索和在任务间重置的状态更新策略。其外部循环故意保持极简：它不依赖固定框架、先前发现的存档或持久记忆机制，而是赋予生成器对先前经验的无限制文件系统访问权限。这让智能体决定检查哪些信息，并能搜索完整的工具链实现，而非预定义的上下文管理程序空间。
文本优化方法。Meta-Harness 也与 ProTeGi, TextGrad, OPRO, GEPA, AlphaEvolve/OpenEvolve, 和 Feedback Descent 等方法密切相关，这些方法利用先前尝试的反馈迭代改进提示或其他文本工件 [38; 31; 53; 51; 1; 35; 43; 26]。然而，这些方法不太适合工具链工程，因为其优化目标是完整的可执行程序，且相关的环境反馈分布在代码、分数和执行轨迹中，难以预先总结。Meta-Harness 中的生成器并非仅对标量分数或摘要做出反应，而是可以对失败的示例及其执行轨迹进行推理，以提出有针对性的编辑。关于这些论文和我们所考虑的问题规模比较，见表 1，关于在我们问题设置中与 OpenEvolve、GEPA 和 TTT-Discover 的直接比较，见图 1 和图 4。
3 Meta-Harness：用于优化工具链的工具链
本节描述 Meta-Harness，我们的用于搜索特定任务工具链的外层循环过程。Meta-Harness 建立在这样一个想法之上：工具链优化受益于允许生成器通过文件系统访问选择性地检查先前的代码和执行轨迹，而不是从有损摘要或额外的手工设计搜索结构中进行优化。从高层次看，它反复提出、评估和记录新的工具链。
Meta-Harness 本身在广义上也是一个工具链（因此得名），因为它决定了生成器模型在搜索过程中能看到哪些信息。除非另有说明，我们使用“工具链”指代正在被优化的特定任务程序。
当多个目标相关时（例如，准确率和上下文成本），我们根据帕累托优势评估候选方案，并报告最终的前沿。在实践中，这种搜索传统上由人类工程师和研究人员执行，他们手动迭代地改进提示、上下文管理规则和工具使用逻辑。
Meta-Harness 搜索循环。Meta-Harness 使用一个单一的编码智能体生成器，该生成器可以访问一个不断增长的文件系统 D，作为其反馈渠道<sup>1</sup>。这里，编码智能体是一个基于语言模型的系统，可以调用开发者工具并修改代码。与将改进逻辑外部化到手工设计搜索循环中的先前系统不同，Meta-Harness 将诊断和提案委托给编码智能体本身：它决定检查哪些先前工件、处理哪些失败模式，以及是进行局部编辑还是进行更实质性的重写。等价地，生成器不是一个在由外部循环组装的固定提示上操作的原始下一个令牌预测模型；它是一个在搜索过程中检索信息、导航先前工件和编辑代码的智能体。每个被评估的工具链都贡献一个包含其源代码、分数和执行轨迹（如提示、工具调用、模型输出和状态更新）的目录。文件系统通常远大于生成器的上下文窗口，因此生成器通过终端工具（如 grep 和 cat）查询它，而不是将其作为一个单独的提示输入。在每次迭代中，生成器首先检查先前的代码、分数和执行轨迹，然后推理可能的失败模式，最后生成一个新的工具链。
Meta-Harness 维护一个候选方案群体 H 和一个已评估工具链的帕累托前沿，但不施加父代选择规则：生成器在提出新工具链时可以自由检查任何先前的工具链及其执行轨迹。我们运行固定迭代次数的进化，并在帕累托前沿上进行最终的测试集评估。这种简洁性是故意的：通过将诊断和编辑决策留给生成器而非硬编码搜索启发式，Meta-Harness 可以随着编码智能体能力的增强而自动改进。生成器从未见过测试集结果；其唯一反馈来自搜索集（用于评估候选工具链以生成改进反馈信号的任务实例子集）以及在那些搜索运行期间记录的执行轨迹。
代码空间搜索的优势。工具链优化发生在代码空间中，其中对检索、记忆或提示构建逻辑的小改动可能会影响许多步骤之后的行为，使得局部搜索启发式方法不适合该问题。通过检查执行轨迹，生成器通常可以推断出工具链为何失败，以及哪些早期设计选择可能导致失败，而不仅仅是知道它失败了，如附录 A 和 A.2 中的搜索轨迹所示。在那里，我们看到生成器广泛阅读先前的代码和日志，然后利用这些轨迹来识别混杂的编辑、隔离可能的因果变化，并在重复出现回归后转向更安全的修改。因此，生成器可以在算法结构层面修改工具链，从更改检索、记忆或提示构建逻辑到完整的程序重写，而不是填充模板或应用预定义的变异算子。在实践中，它通常从一个强大的先验工具链开始，但这是一个涌现策略，而非硬编码规则。尽管搜索空间很大，但将工具链表示为程序提供了自然的正则化偏差：编码模型倾向于提出连贯的算法，而不是脆弱的、硬编码的解决方案，这使搜索偏向于可重用的上下文管理程序。这个行动空间与前沿编码助手所训练的读写执行工作流密切相关。
实际实现。在我们的实验中，每个工具链都是一个单文件的 Python 程序，用于修改特定任务的提示、检索、记忆和编排逻辑。在我们的实验中，生成器 P 是 Claude Code [4]，使用 Opus-4.6 模型。生成器由一个最小领域特定的技能（skill）引导，该技能描述了在哪里编写新工具链、如何检查以前的工具链及其执行轨迹，以及它可以和不可以修改哪些文件。基础模型 M 因领域而异，并且始终保持冻结；详见第 4 节。在我们的实验中，一次典型运行在 20 次迭代中评估大约 60 个工具链。我们在附录 D 中提供了在新领域实现 Meta-Harness 的额外提示。
4 实验
我们在三个任务领域评估 Meta-Harness：在线文本分类、数学推理和智能体编码。在每个领域中，我们将搜索发现的工具链与使用标准评估指标的领域适当基线进行比较。请参阅每个小节了解精确的实验设置。
我们与两大类方法进行比较。(1) 人工设计策略：这些是针对每个领域的手工制作工具链，代表了上下文构建的当前最先进水平。我们在相应的小节中描述这些基线。(2) 程序搜索方法：这些方法使用反馈和奖励信号搜索候选工具链，但设计用于比工具链工程更小规模的设置。
4.1 在线文本分类
我们遵循 Zhang 等人 [59] 和 Ye 等人 [52] 的在线文本分类设置：一个 LLM 逐个接收带标签的示例，更新其记忆，并在保留的测试集上进行评估。我们使用 GPT-OSS-120B 作为 LLM 文本分类器，并考虑设计用于文本分类的工具链的问题。我们使用三个数据集，因其难度和领域多样性而选择：LawBench (Law) [16] 根据案件描述预测刑事指控（215 个类别）；Symptom2Disease (S2D) [19] 根据症状描述预测疾病（22 个类别）；USPTO-50k [41] 根据产物分子预测前体反应物（180 个类别）。我们从该设置中的主要基线工具链初始化搜索群体 H：零样本（zero-shot）、少样本（few-shot）、ACE 和 MCE。我们进行了 20 次进化迭代，每次迭代产生两个候选方案，共产生 40 个候选工具链。
与文本优化器的比较。我们将 Meta-Harness 与代表性的文本优化方法进行比较。为了公平比较，我们使用相同的生成器配置（Opus-4.6，最大推理），仅根据搜索集性能选择候选方案，并保留测试集直至最终评估。由于评估是主要的计算瓶颈，我们给予每种方法相同的提案工具链评估预算。我们考虑以下比较点：
Best-of-N：从初始种子独立采样，无搜索结构；作为计算量匹配的对照，以检验搜索是否重要。
OpenEvolve [43]：基于程序的进化搜索，使用 LLM 进行变异。
TTT-Discover [55]：我们仅使用其方法的文本优化组件，即通过 PUCT 复用规则进行提案选择。
在该设置中，Meta-Harness 在 0.1× 的评估次数下匹配了最佳的先前文本优化器（OpenEvolve, TTT-Discover），其最终准确率超过它们 10 个点以上（图 1 和表 4）。我们将这种加速归因于有意设计的选择，即对外部循环施加了最小的必要结构（第 3 节）。特别是，Meta-Harness 使用文件系统保留完整的经验历史，并允许生成器检查任何必要内容，而 OpenEvolve 和 TTT-Discover 都使用更具结构化和显著受限的生成器输入，而非完整的文件系统访问。我们注意到在线文本分类是我们研究的最小上下文设置（表 1），因此如果结构繁重的文本优化器在此已经落后，它们在更困难的领域的局限性可能只会更大。
Meta-Harness 速度提升 10× 并收敛到更好的工具链
在该设置中，Meta-Harness 在比最佳先前文本优化器（OpenEvolve, TTT-Discover）少 10×10× 的完整评估次数下匹配了它们，其最终准确率超过它们 10 个点以上。
为了隔离生成器接口的哪些部分最重要，我们在在线文本分类中比较了三种条件：仅分数（scores-only）条件、分数加摘要（scores-plus-summary）条件（生成器接收 LLM 生成的摘要但无原始轨迹），以及具有执行轨迹访问权限的完整 Meta-Harness 接口（表 3）。结果显示完整接口有巨大优势：仅分数条件达到 34.6 中位数和 41.3 最佳准确率，而分数加摘要条件达到 34.9 中位数和 38.7 最佳准确率。相比之下，Meta-Harness达到了 50.0 中位数和 56.7 最佳准确率，甚至其中位数候选方案也优于在任一消融条件下找到的最佳候选方案。我们认为这表明对执行轨迹的完全访问是接口最重要的组成部分：摘要无法恢复丢失的信号，甚至可能因压缩掉对诊断有用的细节而产生负面影响。
表 2：所有工具链在三个数据集上的测试集指标。Ctx 表示输入上下文中的额外令牌数（千）。†：实现来自 Ye 等人 [52]。↓：越低越好。Meta-Harness 在提高在线文本分类准确率的同时使用了更小的输入上下文。
图 3：在线文本分类上准确率与上下文令牌数的帕累托前沿。Meta-Harness 实现了比所有比较方法更强的准确率-上下文帕累托前沿。
与最先进工具链的比较。我们的主要比较点是为该问题设置手工设计的工具链：Agentic Context Engineering (ACE, Zhang 等人 [59])，它使用反思性记忆管理随时间构建上下文；以及 Meta Context Engineering (MCE, Ye 等人 [52])，它维护并进化一个用于上下文构建的自然语言技能库。作为额外基线，我们评估了零样本提示和 N∈{4,8,16,32,全部} 个示例的少样本提示。表 2 中的结果显示，Meta-Harness 相较于先前手工设计的工具链有显著改进。选中的 Meta-Harness 2 达到了 48.6% 的准确率，比 ACE 高出 7.7 个点，比 MCE 高出 8.6 个点。这些提升并非来自使用更多上下文：Meta-Harness 仅使用 11.4K 上下文令牌，而 ACE 为 50.8K，MCE 为 28.5K。
表 4：不同文本优化器提出的工具链在文本分类上的准确率（搜索集）。Meta-Harness 在工具链优化上远更有效。
准确率-上下文权衡。由于 Meta-Harness 对工具链代码进行自由形式的优化，我们可以表达对准确率和上下文成本的联合偏好，而无需预先承诺一个单一的标量目标。仅给定当前指标和所需的权衡，生成器能够发现跨越前沿广泛范围的工具链，在图 3 中产生平滑的准确率-上下文帕累托曲线。这使得我们能够以可控的方式用额外的上下文换取更高的测试准确率，而不是承诺于单个手工设计的操作点。
分布外（OOD）任务评估。我们评估发现的工具链是否能泛化到搜索期间未见过的全新数据集。我们考虑了九个不同的数据集，并在附录 C.1 中详细描述。选中的 Meta-Harness 系统实现了最佳平均准确率（73.1%），优于 ACE（70.2%）和所有少样本基线（表 5）。值得注意的是，我们观察到在 7/9 的任务中，朴素地添加超过 32 个少样本示例会损害性能。Meta-Harness 在 6/9 的数据集上表现最高，这表明发现的工具链捕获了文本分类的通用有效策略，而非过拟合于搜索期间使用的特定数据集。
4.2 用于检索增强推理的工具链
我们研究了一个在奥赛数学解题中略显非标准的设置：为模型增加从大型语料库检索示例的能力。从原理上讲，有充分的理由期望检索有助于数学推理，因为解决方案通常共享可重用的证明模式，因此先前的推理轨迹包含模型在测试时可能能够利用的信息。
表 5：分布外文本分类数据集评估。我们报告了每个数据集的测试准确率和所有九个数据集的平均额外上下文令牌数。Meta-Harness 在这 9 个先前未见过的任务上比次优方法高出 2.9 个点。
表 6：在 200 个 IMO 级别数学问题上的检索增强数学问题求解。我们展示了每个问题三次采样平均的 pass@1，括号内为相对于基线的绝对提升。发现的 Meta-Harness 检索策略在所有五个未见模型上均提升了这些 IMO 级别问题的推理能力，相对于无检索器平均提升了 4.7 个点。
然而，检索尚未成为该设置的标准组成部分，先前工作表明，在推理密集的数学基准上，检索的成功率远低于在更多事实型领域 [42; 49; 6]。难点在于，朴素的检索很少能以正确的形式提供正确的轨迹。这表明成功不仅取决于添加检索本身，更取决于发现正确的检索策略。与其手动设计该策略，我们向 Meta-Harness 提供一组困难的奥赛问题，并让检索行为本身从搜索中涌现。
检索语料库包含来自八个开源数据集的 ≥500,000 个已解决问题。我们仔细地对其进行了去重和去污（decontamination），以排除评估基准和搜索集，确认保留的问题在我们的字符串过滤器下没有精确前缀匹配，并手动检查了保留示例的 top BM25 检索结果（附录 C.2）。我们使用 Meta-Harness 在 250 个奥赛难度数学问题（OlympiadBench + Omni-MATH hard）的搜索集上优化工具链 40 次迭代，产生了 109 个候选检索工具链。我们从该设置中的主要基线工具链初始化搜索群体 HH：零样本、少样本和 ACE。我们基于使用 GPT-OSS-20B 的搜索集性能选择单个工具链（附录 B.2）。我们在 200 个来自 IMO-AnswerBench、IMO-ProofBench 和 ArXivMath [30; 6] 的先前未见过的 IMO 级别问题上评估此工具链。除了 GPT-OSS-20B，我们还在搜索期间未见过的四个模型上评估相同的检索工具链：GPT-5.4-nano、GPT-5.4-mini、Gemini-3.1-Flash-Lite 和 Gemini-3-Flash。我们遵循先前工作的标准评估协议 [30]，并报告每个问题三次采样的平均准确率。
结果。表 6 比较了发现的工具链与无检索、使用独立嵌入模型 text-embedding-3-small 的稠密检索、随机少样本提示和 BM25 检索。相比之下，Meta-Harness 完全在代码空间中操作，基于与稀疏基线相同的 BM25 词法检索栈，而非引入额外的稠密编码器。发现的检索工具链在所有五个未见模型上均优于无检索基线，平均增益为 4.7 个点。它平均也达到或超过了最强的固定基线，总体比 BM25 检索高出 1.3 个点，同时避免了稠密检索和随机少样本提示在多个模型上观察到的性能下降。
Meta-Harness 提升 IMO 级别数学问题的推理能力
在检索增强的数学推理中，单个发现的检索工具链可迁移至五个未见模型，平均准确率比无检索提升 4.7 个点，在比较的方法中取得了最强的整体平均性能。
4.3 在 TerminalBench-2 上评估智能体编码工具链
TerminalBench-2 [33] 在 89 个具有挑战性的任务上评估 LLM 智能体，这些任务需要长周期、完全自主的执行，涉及复杂的依赖关系和大量的领域知识。先前工作表明，智能体工具链的选择对此基准的性能有很大影响。我们从两个强大的开源基线开始搜索：Terminus 2 [33] 和 Terminus-KIRA [25]。对于此实验，我们在相同的 89 任务基准上进行搜索和最终评估。我们将此基准用作一个发现问题 [54]，其目标是发现一个能在此困难且公开竞争的基准上提升性能的工具链配置。这是标准做法：公开文章已经描述了在 TerminalBench 本身上进行的重复的、针对基准的工具链迭代 [18; 34; 25]，并且该基准规模小且评估成本高，引入单独的数据分割会实质性地削弱搜索信号。我们额外通过手动检查和基于正则表达式的审计来检查进化出的工具链中是否存在针对特定任务的字符串泄露。我们注意到，尽管所得工具链专门针对 TerminalBench-2 领域，但从单一指令自主完成困难的长期任务是核心能力，并且该基准包含许多前沿模型和重度工程化工具链都难以应对的任务。
结果。我们在表 7 中报告了在两个基础模型上的完整基准结果：Claude Opus 4.6 和 Claude Haiku 4.5。在 Opus 4.6 上，Meta-Harness 发现了一个达到 76.4% 通过率的工具链，超越了手工设计的 Terminus-KIRA (74.7%)，并在 TerminalBench-2 排行榜上所有 Opus 4.6 智能体中排名第 2。唯一得分更高的 Opus 4.6 智能体是 ForgeCode (81.8%)；然而，我们无法仅从公开可用的代码重现其报告的结果，这表明他们的排行榜分数依赖于已发布仓库之外的组件。在较弱的 Haiku 4.5 模型上，改进更大：Meta-Harness 达到 37.6%，比次优报告智能体（Goose，35.5%）高出 2.1 个点。TerminalBench-2 是一个被积极竞争的基准，多个团队直接针对其进行优化，因此自动搜索方法能在此前沿取得收益，对于长周期文本优化循环来说是一个令人鼓舞的迹象。
生成器的定性行为。工具链搜索轨迹有助于解释 Meta-Harness 为何能取得这些收益；我们在附录 A 中提供了详细总结。在早期迭代中，生成器将有希望的结构修复与提示模板编辑相结合，并观察到两个候选方案均出现性能回退。然后它明确假设这些回退是由共享的提示干预所混淆，将结构性变化与提示重写隔离开来，并最终转向一个更安全的加法修改，该修改成为运行中的最佳候选。这提供了定性证据，表明文件系统访问使生成器能够以足够的细节检查先前的经验，以形成因果假设并相应地修改工具链。
表 7：TerminalBench2 上的通过率。其他结果为官方排行榜数据。Meta-Harness 在所有 Opus-4.6 智能体中排名第 2，在所有 Haiku-4.5 智能体中排名第 1。
Meta-Harness 在 TerminalBench-2 上超越人工设计的智能体在 TerminalBench-2 上，Meta-Harness 自动发现了在 Opus 4.6 上超越 Terminus-KIRA 并在所有 Haiku 4.5 智能体中排名第一的工具链。
5 讨论
除了超越现有工具链外，Meta-Harness 还具有几个实际优势。发现的工具链可以泛化到分布外的分类数据集（表 5）和数学设置中未见的基础模型（表 6）。一次搜索运行在几个小时的墙钟时间内完成，却能产生可读、可迁移的策略，这些策略可以跨模型复用，包括未来更强的模型。代码空间中的过拟合也更易于检查：脆弱的 if-链或硬编码的类映射在检查时可见，而权重空间的过拟合则不然。更广泛地说，我们的结果表明，Meta-Harness 的主要优势不仅仅是对代码的搜索，而是带有对先前诊断经验的选择性访问的搜索。生成器不限于标量奖励或固定摘要；它可以检查原始代码、执行轨迹和先前的失败，然后利用这些信息来形成和测试关于要更改什么的假设。附录 A.2 中的定性搜索轨迹直接展示了这种行为。我们的发现反映了机器学习中反复出现的模式 [45]：一旦搜索空间变得可访问，更强大的通用智能体就能胜过人工设计的解决方案。未来工作的自然下一步是共同进化工具链和模型权重，让策略塑造模型学习的内容，反之亦然。虽然我们在三个不同的领域进行了评估，但我们的实验表明，工具链搜索可以使用一个特别强大的编码智能体生成器（Claude Code）工作；关于效果如何随不同生成器智能体变化的更广泛研究仍有待未来工作。