大模型算术推理能力进化：从GPT-2 XL到GPT-Neox-20b的思维链跃迁

1. 从“算数困难户”到“心算高手”：大模型算术推理的进化之路

最近在本地部署和测试各种开源大语言模型时，我遇到了一个非常有趣的现象：让模型帮我算一下“一个房间长5米，宽4米，高3米，刷四面墙和天花板，每升涂料能刷10平方米，需要多少升涂料”这种简单的应用题。一些早期的模型，比如GPT-2 XL，给出的答案常常让人啼笑皆非，要么是计算步骤混乱，要么是单位换算出错。而像GPT-Neox-20b这样参数更大、架构更新的模型，表现则稳定得多，不仅能给出正确答案，还能清晰地列出“（长×高×2 + 宽×高×2 + 长×宽）÷ 10”这样的计算过程。这让我开始好奇，同样都是基于Transformer架构，为什么在算术推理这种看似“低级”的任务上，不同模型的表现会天差地别？这背后绝不仅仅是参数量的堆砌，而是模型内部工作机制——特别是其“思维链条”——发生了深刻的演变。

算术推理，对于人类来说是基础教育的一部分，但对于大语言模型而言，却是一个极具挑战性的“阿喀琉斯之踵”。它要求模型不仅要理解文本中隐含的数学关系，还要能调用正确的运算规则，并按照逻辑顺序一步步执行。这涉及到符号理解、逻辑规划、顺序执行和数值计算等多个认知环节的协同。因此，算术能力成为了衡量大模型推理能力的一个关键基准。今天，我们就以GPT-2 XL（15亿参数）和GPT-Neox-20b（200亿参数）这两个具有代表性的模型为研究对象，深入拆解它们在进行算术推理时，内部到底发生了什么。我们将抛开晦涩的数学公式，用“庖丁解牛”的方式，看看模型是如何“思考”数学问题的，以及从GPT-2 XL到GPT-Neox-20b，这条进化路径揭示了哪些关于大模型能力提升的核心秘密。无论你是AI研究者、开发者，还是对模型内部运作机制感兴趣的爱好者，这篇深度解析都将带你一窥大模型“心智”中那有趣的一角。

2. 算术推理的本质：为什么这对大模型来说是个“坎”？

在深入对比两个模型之前，我们必须先理解，为什么算术推理对大语言模型而言如此困难。这并非模型“笨”，而是由它们的基础架构和工作原理与算术任务的内在需求之间存在根本性的错配。

2.1 语言模型的核心是“概率预测”，而非“符号运算”

大语言模型（LLM）的本质是一个基于海量文本训练的概率模型。它的核心任务是：给定一段上文（上下文），预测下一个最可能出现的词元（token）。无论是GPT-2还是GPT-Neox，它们的训练目标都是最大化这个预测的准确性。在这个过程中，模型学到的是词语之间的共现关系、语法结构和世界知识（以统计规律的形式存在）。例如，它学到“巴黎”之后很可能出现“法国”，但并没有一个内置的、精确的“加法器”或“乘法器”电路。

当面对“25 + 17”时，模型并不是在进行我们人类理解的数值加法运算。它是在其庞大的参数空间中，寻找与“25”、“+”、“17”这个序列最常关联的下一个词元。它可能从训练数据中观察到，“25 + 17”后面经常跟着“= 42”，因此它可能正确输出。但这是一种基于统计记忆的“模仿”，而非基于数学原理的“推导”。一旦问题超出其训练数据中常见的数字组合或形式（例如“127 + 893”），或者需要多步、嵌套的逻辑（如应用题），这种统计模仿就很容易失效。

2.2 算术任务对“精确性”和“顺序性”的严苛要求

自然语言处理本身具有一定的容错性。一个句子即使有个别词语顺序微调或用词稍变，其语义可能依然通顺。但算术不同，它具有绝对的精确性和不可逆的顺序性。

• 精确性：“25+17”的结果必须是“42”，任何其他输出都是错误的。模型输出“41”或“43”的概率可能只比“42”低一点点，但在算术领域，这就是0分和100分的区别。这要求模型的输出分布必须极度尖锐和准确。
• 顺序性（过程依赖）：解决一个多步算术问题，必须遵循特定的顺序。例如，计算“(5 + 3) * 2”，必须先算括号内的加法得到8，再用8乘以2得到16。任何顺序错误都会导致结果错误。这要求模型具备强大的“规划”和“中间状态维持”能力。

2.3 词元化（Tokenization）带来的“数值表征”难题

这是最容易被忽视却至关重要的一环。大模型看到的不是数字“127”，而是被拆分成词元（token）的序列。以常见的BPE词元化方法为例：

• 数字“127”可能被直接当作一个词元"127"。
• 数字“893”可能被拆分成"89"和"3"两个词元。
• 数字“12345”可能被拆分成"123"和"45"。

这种不一致的切分方式，彻底破坏了数字的位值系统（个位、十位、百位）在模型内部的规整表征。对于模型来说，"127"、"89"、"3"、"123"、"45"都只是文本符号，它们之间的数学关系（如"127"比"89"大）模型无法直接感知，必须从上下文中学习。这极大地增加了模型学习算术规律的难度。相比之下，人类和传统计算程序看到的是规整的十进制数字流。

因此，大模型进行算术推理，实际上是在用一套为“模糊概率预测”而设计的系统，去完成一项要求“精确符号执行”的任务。GPT-2 XL和GPT-Neox-20b都面临这个根本挑战，但它们“挣扎”的方式和“解决”的程度，却大有不同。

3. GPT-2 XL：一个在算术迷宫中蹒跚学步的“探索者”

GPT-2 XL作为Transformer架构在超大参数规模（15亿）上的早期成功实践，其设计初衷是生成连贯、多样的文本。它的算术推理能力，更像是这个强大文本生成能力的一个“副产品”，或者说是一个“未优化的功能模块”。通过分析其表现，我们可以清晰地看到一个缺乏针对性设计的模型，是如何处理算术难题的。

3.1 依赖表面模式匹配与局部记忆

GPT-2 XL的算术推理，高度依赖于训练数据中出现的表面模式。它的策略可以概括为“所见即所得”式的联想。

• 简单单步运算：对于在训练语料中出现过无数次的“小数字加法表”或“乘法口诀表”范围内的计算，如“7*8=56”，GPT-2 XL通常能正确回答。这是因为这些等式作为固定短语，被模型以高概率记忆了下来。它并不是计算出了7乘以8，而是直接回忆起了“56”这个字符串。
• 多步运算的困境：一旦问题需要多步，例如“小明有12个苹果，吃了3个，又买了5个，现在有几个？”，GPT-2 XL就容易出错。它可能会错误地组合数字，输出“12 - 3 + 5 = 10”这样的错误步骤（虽然结果14碰巧对了，但过程错），或者更糟糕地，直接输出一个它在类似上下文中见过的、但不正确的最终数字。它缺乏将问题分解为“12-3=9”和“9+5=14”这两个子步骤并进行串联的明确规划能力。

3.2 缺乏稳健的中间状态表示与维护

这是GPT-2 XL处理复杂推理任务的核心短板。在Transformer的解码过程中，信息主要通过注意力机制在词元间流动。对于“12个苹果，吃了3个”这个步骤，模型在输出“吃了3个”后，需要将“剩余9个”这个中间结果以一种清晰、可被后续步骤利用的方式，保存在其内部状态（即后续生成的上下文和模型的激活值）中。 然而，GPT-2 XL的注意力机制更擅长捕捉词元间的语义关联，而非精确的数值状态转移。这个“剩余9个”的信息，很容易在生成后续文本的过程中被稀释、混淆或覆盖。当它需要处理“又买了5个”时，可能已经无法准确地回忆起上一个中间结果是“9”，而是模糊地关联到了初始的“12”或其他数字上，从而导致计算错误。

3.3 对问题表述的改写极其敏感

GPT-2 XL的算术表现对问题的措辞变化非常脆弱。这是一个判断模型是否真正“理解”而不仅仅是“匹配”的试金石。

• 原问题：“一个篮子里有24个鸡蛋，拿走了6个，还剩几个？” GPT-2 XL可能正确回答18。
• 改写问题：“从装有24个鸡蛋的篮子里取出6个后，篮中鸡蛋数量是多少？” 这可能导致GPT-2 XL给出错误答案。
• 原因分析：第二种表述可能更少地在训练数据中以“算术题”的形式出现，更多是叙述性文本。模型无法从“取出后…数量是多少”这种表述中稳定地提取出“减法”这个操作，它可能尝试用更通用的文本生成模式来补全句子，从而偏离了算术轨道。

3.4 错误案例分析：揭示其思维局限

让我们看一个我实测中的典型错误。向GPT-2 XL提问：“如果一本书原价80元，打八折出售，顾客用一张满50减10的优惠券，需要支付多少钱？”

• GPT-2 XL的可能输出：它可能会直接输出“54元”或一个接近但错误的数字。它的“思考”过程（通过其输出推测）可能是混乱的：它可能先算了80的八折是64，但处理“满50减10”时，它可能错误地应用了折扣（例如64-10=54），或者它可能混淆了顺序，先减10再打八折得到56。它很少能清晰地输出：“第一步：80 * 0.8 = 64元（折后价）。第二步：64元满足‘满50’条件，可减10元。第三步：64 - 10 = 54元。最终支付54元。”
• 根源：这个问题需要多步、有条件判断（是否满50）的混合运算。GPT-2 XL缺乏一个内在的、模块化的“工作记忆”来分步存储和操作这些中间数值（80, 0.8, 64, 50, 10, 54），并将商业规则（“满减”）准确地应用到正确的中间结果上。

总之，GPT-2 XL展现了初代大型生成式模型在算术推理上的原生状态：它拥有从数据中偶然习得简单运算模式的能力，但其架构并未对逻辑规划、状态维持和精确计算进行优化，因此表现不稳定、不可靠，尤其在复杂场景下。

4. GPT-Neox-20b：迈向结构化“思维链”的显著进化

GPT-Neox-20b（以下简称Neox-20b）作为一款拥有200亿参数、采用更现代架构（如使用了RoPE旋转位置编码）的开源模型，其在算术推理上的表现相比GPT-2 XL有了质的提升。这种提升并非偶然，而是模型规模扩大、架构改进以及训练数据中可能隐含的“思维链”模式共同作用的结果。它开始展现出一种更接近“分步推理”的能力。

4.1 涌现的“思维链”能力

虽然Neox-20b并非专门为链式思维（Chain-of-Thought, CoT）训练，但更大规模的预训练使其具备了更强的“任务分解”和“顺序输出”的潜力。在面对复杂算术问题时，它更倾向于（或者说更有能力）生成一个中间推理过程。

• 对比示例：同样问“一本书80元，打八折，用满50减10券，付多少钱？”
• Neox-20b的典型输出（经过引导或在其较好状态下）：

  首先，计算打折后的价格：80元 * 0.8 = 64元。 然后，检查64元是否满足优惠券使用条件：64 > 50，满足。 因此，可以减去10元：64元 - 10元 = 54元。 所以，顾客需要支付54元。

• 关键进步：这个输出过程本身，就是模型在“模拟”一个解题的思维过程。生成“首先”、“然后”、“因此”这些词，并附带中间算式，意味着模型在内部为不同的计算步骤分配了清晰的“时间槽”和“逻辑角色”。这个过程输出，不仅对人类可读，更重要的是，它可能反映了模型内部一种更结构化的信息处理方式：将大问题分解为子问题，并依次解决。这种“输出过程”的行为，反过来可能也稳定和规范了其内部的“思考过程”。

4.2 更强的数值感知与操作鲁棒性

得益于更大的参数量和更优的词表设计（可能对数字的处理更友好），Neox-20b对数字本身的表征能力更强。

• 大数运算：对于三位数甚至四位数的加减法，Neox-20b的正确率显著高于GPT-2 XL。这表明它可能更好地学习到了数字之间的相对大小关系和位值规律，尽管其输入仍是词元化的。
• 操作符理解：它对“打折”、“利润率”、“增长率”、“平均值”等需要结合数学运算的概念，理解得更加准确。它更少地将“增长20%”仅仅当作一个文本修饰词，而能将其关联到“乘以1.2”的运算上。
• 单位一致性：在涉及单位换算的问题中（如“2小时15分钟是多少分钟？”），Neox-20b表现更好。它能更可靠地执行“2*60+15=135”这个计算，说明它对不同单位间的换算关系有了更稳定的把握。

4.3 架构改进的潜在贡献：以RoPE为例

Neox-20b采用了RoPE（Rotary Position Embedding，旋转位置编码），相比GPT-2使用的绝对或相对位置编码，RoPE具有更好的外推性和对相对位置的建模能力。这对于算术推理可能有间接但积极的影响：

• 更清晰的顺序依赖：算术计算高度依赖顺序。RoPE能更精确地建模词元间的相对位置关系，这可能帮助模型更好地理解“先算括号内”、“先乘除后加减”这类顺序约束。在模型内部，数字和操作符之间的位置关系被编码得更准确，从而支持了更正确的计算流程。
• 更稳定的长程依赖：在多步应用题中，初始条件（如“小明有12个苹果”）需要在很长一段生成的推理文本后，依然被最终的计算步骤所访问和利用。RoPE在长文本上的优势，可能有助于维持这种跨越多个推理步骤的数值信息流。

4.4 依然存在的局限性

尽管进步巨大，但Neox-20b的算术推理仍非完美，其本质仍是基于概率的生成。

• 并非真正的计算器：它的计算过程仍然依赖于从训练数据中学到的计算模式。对于极其罕见或复杂的数值组合、自定义的复杂运算规则，它依然会失败。
• 对提示方式敏感：虽然比GPT-2 XL强，但其CoT能力并不总是稳定触发。有时需要用户在提问时明确要求“逐步思考”（think step by step），才能诱导出最好的推理过程。这说明了其推理能力是“条件性涌现”的，而非一个固化的、始终激活的模块。
• 可能产生“自信的幻觉”：它有时会生成一个看起来逻辑严密、步骤清晰的推理链，但其中某一步的计算结果却是错的（例如将“36/4”算成“8”），导致最终答案错误。这种“一本正经地胡说八道”在复杂推理中尤为危险，因为它极具欺骗性。

Neox-20b代表了从“模式匹配”向“过程模拟”演进的重要一步。它通过规模效应和架构优化，初步具备了将算术问题分解、分步解决并输出过程的能力，但其根基仍是统计学习，而非符号逻辑引擎。

5. 对比实验设计：如何科学地评估模型的算术“智商”？

为了系统化地比较GPT-2 XL和GPT-Neox-20b的算术推理能力，我们不能仅凭几个例子下结论。需要设计一套覆盖不同难度、不同类型算术任务的评测集。以下是一个可供参考的简易家庭实验室方案，你可以用自己的本地部署环境进行验证。

5.1 评测任务分类

我们将算术任务分为几个层次，由易到难：

1. 基础单步运算：测试对基本算术事实的记忆和简单应用。
   • 示例：“15 + 27 = ”,“48 ÷ 6 = ”,“7的平方是？”
2. 多步混合运算：测试顺序执行和中间状态保持能力。
   • 示例：“(18 - 5) * 3 + 10 = ”,“100减去25再除以5的结果是？”
3. 文字应用题（无多余信息）：测试从自然语言描述中提取数学关系的能力。
   • 示例：“妈妈买了3斤苹果，每斤8元，她付了50元，应找回多少元？”
4. 文字应用题（含多余信息或条件判断）：测试信息筛选、逻辑规划和条件执行能力。
   • 示例：“会议室有长桌和圆桌。长桌可坐8人，有5张；圆桌可坐6人，有3张。今天有40人来开会，座位够吗？如果不够，还差几个？”（包含“判断是否够”这一逻辑步骤）
   • 示例：“商品原价200元，周末九折，会员在此基础上再享95折。非会员顾客周末购买需付多少？”（包含多余信息“会员”）
5. 涉及概念理解的应用题：测试对百分比、比例、速度、单位换算等概念与运算的结合能力。
   • 示例：“一项工程，甲单独做20天完成，乙单独做30天完成。两人合作，几天完成？”
   • 示例：“将时速60公里换算成每秒多少米。”

5.2 评测提示词策略

同样的模型，不同的提问方式会得到截然不同的结果。我们需要控制变量：

• 零样本（Zero-Shot）：直接提问。“Q: [算术问题] A:”
• 链式思维提示（CoT Prompting）：在问题前加入引导，要求模型逐步思考。这对于激发Neox-20b的潜力尤其重要。
  • 示例：“请逐步推理以下问题：Q: [算术问题] A: 让我们一步步思考。首先...”
• 少样本示例（Few-Shot）：给出一两个已解答的示例，展示期望的推理格式。
  • 示例：“示例1: Q: 有12颗糖，吃掉4颗，还剩几颗？ A: 12 - 4 = 8颗。示例2: Q: 每包饼干5元，买4包需要多少钱？ A: 5 * 4 = 20元。现在请回答：Q: [新问题] A:”

5.3 评估指标

不仅仅是看最终答案对错。

1. 最终答案准确率：最直接的指标。
2. 过程正确率：对于生成推理过程的模型，检查其每一步的算式和逻辑是否正确。即使答案碰巧正确，过程错误也要扣分。
3. 格式规整度：推理过程是否清晰、分点、易于人类理解。
4. 对提示词的敏感性：模型在零样本、CoT提示、少样本下的表现差异有多大？这反映了其推理能力的“稳定性”和“可引导性”。

5.4 实操注意事项与常见坑点

在本地部署运行这类测试时，有几个细节会极大影响结果：

• 生成参数：temperature（温度）和top_p（核采样）参数设置至关重要。对于算术这种要求确定性的任务，通常应将temperature设得很低（如0.1或0），top_p设为1.0或一个较高的值（如0.9），以降低随机性，让模型输出最可能的答案。如果参数随机性太高，同一个问题多次询问可能得到不同答案，无法稳定评估。
• 停止词：设置合理的停止词，如“\n”、“Q:”等，防止模型无限生成或跑题。
• 上下文管理：确保每次测试都是新的会话，避免之前问答的历史信息干扰当前问题。
• 结果解析：自动评估时，需要编写脚本从模型输出中提取最终答案（通常是最后一个数字或明确指出的答案）。对于过程评估，目前仍需人工或借助更复杂的规则/模型来判断。

通过这样系统化的对比，你不仅能得到“谁更好”的结论，更能深入理解“好在哪里”以及“为什么好”。

6. 超越对比：从模型表现看算术推理能力的提升路径

通过对GPT-2 XL和GPT-Neox-20b的深入剖析，我们可以提炼出大语言模型提升算术乃至通用推理能力的几个关键方向。这对于我们理解现有模型的局限和展望未来技术的发展很有意义。

6.1 规模效应：量变引发质变的基础

参数量的增加（从15亿到200亿）是Neox-20b能力跃升的首要因素。更多的参数意味着：

• 更大的记忆容量：可以存储更多、更细粒度的“计算模板”和数字关联模式。
• 更复杂的函数拟合：可能在其内部网络中形成更接近于“模拟计算单元”的子网络结构，用于处理数字操作。
• 更强的泛化能力：从见过的算术模式中，更好地泛化到未见过的数字组合上。

然而，规模并非万能。单纯的缩放可能带来边际效益递减，且成本高昂。需要与架构和训练方法的改进相结合。

**6.2 架构优化：为推理“铺路搭桥”

• 更好的位置编码（如RoPE）：如前所述，增强对顺序和相对位置的建模，直接有益于需要严格顺序的算术推理。
• 注意力机制的改进：探索能更好维持长期依赖和显式管理“工作记忆”的注意力变体，帮助模型在长推理链中保持中间结果。
• 模块化与符号结合：这是最前沿的探索方向。一种思路是在模型外部或内部集成一个真正的符号计算器（如Python解释器）。当模型识别出需要计算时，将算式“外包”给计算器执行，再将结果填回文本。另一种思路是设计内部架构，让模型的一部分专门负责逻辑规划和符号操作。这相当于给模型配备了一个“草稿纸”和“计算器”。

6.3 训练策略与数据工程：有意识地“教”推理

• 思维链微调：在预训练后，使用大量包含逐步推理过程的高质量数据对模型进行监督微调。这直接“教会”模型在遇到复杂问题时，应该以何种格式和逻辑进行思考。许多最新的开源模型都在采用此策略。
• 合成数据与课程学习：人工生成或利用程序合成海量、难度递进的算术推理数据，从简单到复杂地训练模型，模仿人类的学习过程。
• 强化学习与自洽性：通过强化学习，奖励那些能产生正确且逻辑连贯推理过程的输出。或者采用“自洽性”解码策略，让模型生成多个推理路径，然后投票选择最一致的答案，以此提高可靠性。

6.4 提示工程：激发模型潜能的“钥匙”

对于使用者而言，最直接有效的方法就是提示工程。我们的对比已经显示，一个简单的“请逐步思考”指令，就能显著提升Neox-20b这类模型的表现。更高级的技巧包括：

• 少样本示例：提供几个完美的推理示例作为样板。
• 指定输出格式：要求模型以“步骤1：… 步骤2：…”的格式输出。
• 分步追问：对于极其复杂的问题，可以采用多轮对话，人工引导模型一步步计算，相当于充当了它的“外部工作记忆”和“流程控制器”。

从GPT-2 XL到GPT-Neox-20b的进步，清晰地展示了大语言模型在算术推理上从“本能反应”到“有意规划”的演进趋势。然而，其核心挑战——将基于概率的文本生成与基于规则的符号计算深度融合——依然存在。未来的模型，可能会更像一个配备了多种思维工具（记忆板、计算器、逻辑规划器）的协同系统，而不仅仅是一个庞大的文本预测机。对于我们实践者来说，理解这些模型的优势和局限，选择合适的模型并辅以恰当的提示策略，才能在实际应用中让它们发挥出最大的价值，尤其是在那些需要可靠、可解释推理的场景中。