OpenAI 最重要的一篇论文有个 bug，整个 AI 行业按错误配方烧了两年算力
OpenAI 最重要的一篇论文有个 bug，整个 AI 行业按错误配方烧了两年算力
2020 年 1 月，OpenAI 发了一篇论文，叫《Scaling Laws for Neural Language Models》。
这篇论文定义了过去六年 AI 行业的游戏规则：模型该多大、数据该多少、算力怎么分配。
这篇论文有个 bug。
整个行业按它给的错误配方，训练了一批过大、数据不足的模型，烧掉的天文数字算力再也回不来了。
先说结论
2026 年 7 月 4 日，前 OpenAI 研究者 Diogo 在 Complete Skeptic 博客发了一篇文章，标题叫《Scaling Laws, Honestly》。
文章的核心主张只有一句：
OpenAI 原始 scaling laws 和 DeepMind Chinchilla scaling laws 之间的巨大差异，根源不是什么"参数计数方式不同"——而是原始论文有一个 bug。
这个 bug 由三个步骤构成：
- 用固定数据量训练所有模型
- 学习率衰减到零，让性能看起来已饱和
- 声称学习率调度"不重要"
三步叠加，得出了一个错误结论：模型应该更大、数据可以更少。
而正确的结论是：模型应该更小、数据应该更多。
GPT-3 就是按错误结论训练的——它太大，数据太少。
什么是 Scaling Laws？为什么它重要？
先用一个比喻。
你要开一家面包店。烤箱有多种大小（模型规模），面粉有多种用量（数据量），电费是有限的（算力）。你想用最少的电费烤出最好吃的面包（最低 loss）。
Scaling Laws 就是这张"配方表"——它告诉你，给定电费预算，烤箱和面粉该怎么配比，才能烤出最好吃的面包。
OpenAI 2020 年的配方表说：烤箱越大越好，面粉不太重要。大烤箱用相对少的面粉就能出好面包。
DeepMind 2022 年的配方表（Chinchilla）说：烤箱和面粉要成比例增长。大烤箱必须配大量面粉。
两个配方表给出了完全不同的建议。行业里管这个差异叫"Kaplan vs Chinchilla 之谜"（Kaplan 是 OpenAI 论文的第一作者）。
主流解释是：两者只是"参数计数方式不同"，都对，只是角度不同。
Diogo 的文章说：不，是 Kaplan 错了。有个 bug。
Bug 三步曲
第一步：所有模型用同一份面粉
Kaplan 论文里，不管模型是 1 亿参数还是 1750 亿参数，全都训练到大约 1300 亿 token 就停。
这就像用 1 升烤箱和 100 升烤箱，都只放 500 克面粉。小烤箱面粉相对过剩，大烤箱面粉严重不足——但你看不出大烤箱缺面粉，因为它"训练完了"。
Chinchilla 论文直接指出了这个问题：原始论文"use a fixed number of training tokens and learning rate schedule for all models"。
第二步：烤箱越到最后越不开火
更阴的是学习率调度。Kaplan 用了余弦衰减——训练接近终点时，学习率平滑降到零。
效果是什么？模型在接近 1300 亿 token 时，学习速度越来越慢，最后完全停止学习。性能曲线自然趋于平缓，看起来像"训练已经饱和，再加数据也没用"。
不是模型不需要更多数据，是你自己把学习的油门松开了，然后说"看，开不动了"。
Diogo 在文章里画了张图：如果训练曲线在到达真正的 scaling 前沿之前就被学习率衰减截断，你量出来的"前沿"其实是假的。
第三步：声称油门不重要
最让 Diogo 难以释怀的是第三步。Kaplan 论文里有一句话：结果"largely independent of learning rate schedule"（对学习率调度基本不敏感）。
Diogo 指出：在给定最大 token 数的前提下，这句话完全正确。但 scaling laws 要建模的是"真正无限数据极限"——在那个语境下，学习率调度至关重要。
这句话就像说"速度对开车不影响"——前提是你已经把油门松到底了。
更微妙的是，Diogo 自己当时也在 OpenAI 做 LLM 优化。他说：“学习率调度看起来太明显是个重要超参数了，以至于让人觉得这是有意的设置。”——正因为太明显，反而没人质疑。
后果：GPT-3 太大了
三个步骤叠加，Kaplan 得出的配方是：大模型、少数据。
Chinchilla 修正后给出的配方是：小模型、多数据。
差距有多大？看 Chinchilla 的对照表：
| GPT-3（Kaplan 配方） | Chinchilla（修正配方） | |
|---|---|---|
| 模型参数 | 175B | 70B（不到一半） |
| 训练 token | 300B | 1.4T（超过 4 倍） |
GPT-3 既是"训练不足"（数据太少），又是"过大"（参数浪费）。如果按 Chinchilla 配方，同样算力可以训出更小、更好、更便宜的模型。
这不是小事。GPT-3 之后，整个行业跟着 Kaplan 配方走了一年多。每一个按这个配方训练的模型，都在烧冤枉钱。Meta 的 OPT、微软的 Turing-NLG、EleutherAI 的 GPT-Neo……一批模型全部按"大模型少数据"训练，性能都不如预期。
直到 2022 年 Chinchilla 出来，行业才慢慢转向。但已经烧掉的算力，和已经发布的"过大模型"，改不回来了。
为什么这个 bug 没被发现？
Diogo 自己也错过——他当时在 OpenAI 内部都没想到。他给了三个原因：
第一，三步叠加才出问题。单看任何一步都有合理解释：固定数据量是为了控制变量；余弦衰减是标准做法；"学习率不重要"在那个前提下是对的。三步合起来才制造了"数据不重要"的假象。
第二，结果"看起来对"。Kaplan 论文的拟合曲线很漂亮，预测和实测吻合。没人怀疑一个拟合得好的定律会是错的——因为它的确在自己的实验范围内自洽，只是这个范围被 bug 限制住了。
第三，行业没动力质疑。“大模型少数据"对大公司有利——参数规模是能拿来发论文、拿融资的指标。数据量不性感。质疑这个结论，等于说"你们烧了冤枉钱”。
评论区扔了一颗更大的炸弹
文章本身已经够劲爆，但评论区更狠。
一位叫 Adam Wasserman 的研究者指出：Chinchilla 也有一个没说的限制——它是"英语 scaling laws"。
他做了预注册实验（OSF SJ48B 和 CN75D，可复现）：
- 同样的 1.25 亿参数模型，同样的算力，只换训练语言
- 法语：约 1.97 亿 token 就达到语法能力（一致性探测 100% 正确率）
- 英语：超过 30 亿 token 仍处于随机水平
- 法语和英语的涌现阈值差距超过 15 倍
- 法语训练效率比英语高 50-100 倍
- 整个实验成本仅65 美元
为什么差距这么大？Wasserman 的解释是：
英语的形态学贫乏——很多其他语言用词形变化表达的信息，英语要靠上下文推断。所以英语模型必须看更多数据才能学会同样的东西。英语是测试的 12 种语言里效率最低的之一。
这意味着 Chinchilla 给出的"每个参数约 20 token"的最优比例，其实是英语的最优比例。对于形态学更丰富的语言（法语、土耳其语、芬兰语……），最优 token 数可能低得多。
“Scaling laws, honestly, are English scaling laws.”
这个评论比正文还颠覆。如果属实，意味着：
- 非英语大模型可能普遍训练过度
- 非英语市场的模型成本可以大幅降低
- 整个"scaling"叙事建立在一个语言特例上
这件事的三个教训
教训一：拟合好不等于对
Kaplan 的曲线拟合得非常漂亮。但拟合好只能证明"在你的实验范围内自洽"，不能证明"你的实验范围没被 bug 限制"。
当一个漂亮的结果来自一个有 bug 的实验流程时，它越漂亮越危险——因为没人会怀疑漂亮的东西。
教训二：默认设置是隐含的假设
固定数据量、余弦衰减——这些都是"标准做法"。但"标准"不等于"无害"。每一个默认设置都是一个隐含假设：假设这个设置不影响结论。
Kaplan 假设学习率调度不影响 scaling laws。这个假设没被验证，就直接写进了实验流程。三年后才发现假设错了。
在 AI 研究里，最危险的 bug 不是代码错误，是"看起来太合理以至于没人质疑"的隐含假设。
教训三：对"定律"保持警惕
Scaling laws 被叫做"定律"（laws）。但物理学定律经得起百年检验，AI 的"定律"只经得起一次复现实验。
Kaplan 是错的。Chinchilla 可能也只是英语的。下一个修正版本可能也有自己的盲区。
这不是在说 scaling laws 没用——它极其有用。但它是有条件的经验规律，不是无条件的物理定律。把它当定律用，就会重蹈"大模型少数据"的覆辙。
中文世界的特殊意义
这件事对中国 AI 圈有特殊含义。
中文形态学比英语丰富得多——一个字可以是词，一个词可以变很多形态（“看”“看见”“看得见”“看不见”“看得见看不见”）。如果 Wasserman 的结论成立，中文的 scaling 最优比例可能也和英语不同。
但几乎所有中文大模型的训练配方，都是参照英语 scaling laws 制定的。这是否意味着中文模型也普遍"训练过度"？这是一个值得认真研究的问题——而且按照 Wasserman 的实验，验证成本可能只需要几十美元。
最后
Diogo 在文章结尾很克制：
“每个大型 AI 实验室早就知道这件事。给未来非大型实验室研究者的建议：别在这个问题上浪费时间了，Chinchilla 是对的。”
“希望能有人修改原始 scaling laws 论文，加一条关于 bug 的说明。”
没有声讨，没有渲染。就是一个曾在 OpenAI 内部的人，把一个大家都心照不宣的事实写出来。
但这件事的分量不该被低估。过去六年 AI 行业最重要的一篇论文，有一个三步构成的 bug，导致整个行业按错误配方烧了至少两年的算力。而修正版本也只对一种语言精确。
Scaling laws 是有用的。但"honestly"这个副标题提醒我们：有用和正确是两回事。
原文：https://www.completeskeptic.com/p/scaling-laws-honestly
评论区 Wasserman 的预注册实验：OSF SJ48B / CN75D；存档 doi.org/10.5281/zenodo.19423151
Kaplan et al. 原始论文：arxiv.org/abs/2001.08361
Chinchilla 论文：arxiv.org/abs/2203.15556
本文是对 Complete Skeptic 博客 2026 年 7 月 4 日文章的解读与扩展。核心事实来自原文及评论区，延伸推论为个人观点。