老码农和你一起学AI系列：模型语言扩展法则
扩展法则（Scaling Laws）可以理解为大模型领域的“黄金法则”。它揭示了模型的性能与模型规模、数据量和计算资源之间遵循一种可预测的幂律关系。简单来说，就是只要同步扩大这三个要素，模型的能力就会稳定提升。
这项发现为大模型的持续"膨胀"提供了理论依据，也是GPT系列能够不断突破的关键。下面，我们来梳理这个法则的核心内容与最新发展。
OpenAI与DeepMind的里程碑
扩展法则的研究最早由OpenAI和DeepMind奠定基础，它们提出了两个核心公式：
| 研究团队 | 关键洞察 | 通俗理解 |
|---|---|---|
| OpenAI (Kaplan等人, 2020) | 当计算量提升时，应更大比例地投入到扩大模型规模上（例如，计算量翻10倍，模型规模应扩大约5.5倍）。 | "模型为王"：在计算资源有限时，优先把预算花在"建一个更大的脑子上"。 |
| DeepMind (Chinchilla团队, 2022) | 模型规模和数据量应等比例放大。他们据此训练了比GPT-3小但性能更优的Chinchilla模型。 | "均衡饮食"：大脑变大了，也需要同样多的"数据食物"来喂养，否则会营养不良（过拟合）。 |
扩展法则的演进
经典的扩展法则主要针对的是密集（Dense）模型（即每个任务都激活全部参数）。但随着模型越来越大，训练成本激增，稀疏（Sparse）模型成为新的主流。最典型的代表就是混合专家模型（MoE）。
对于MoE这类稀疏模型，扩展法则需要考虑更多因素，变得更加复杂：
影响因素增多：除了总参数量 ，还需要考虑激活参数量（每个Token实际使用的参数）、专家数量、稀疏度等。
最优配置变化：研究表明，随着模型总规模的增大，最优的激活参数量比例会变得越来越稀疏，以追求更高的效率。
此外，最新的研究也在探索新的维度。例如，动力学扩展定律发现在推理阶段，性能瓶颈不再是参数量，而是注意力机制的计算成本。通过引入稀疏注意力，可以在相同资源下支持更长的文本生成，将问题解决率提升高达60% -3。还有研究提出了并行扩展定律（ParScale），通过并行计算路径来提升模型能力，效率比单纯扩大参数量更高。
💡 反思与未来：扩展法则会失效吗？
随着DeepSeek等模型以更低的成本实现强大性能，业界开始重新审视"越大越好"的信条。扩展法则是否已撞上"数据墙"？
数据墙与边际递减：高质量的公网文本数据是有限的，这成为继续扩大规模的主要瓶颈。单纯增加参数，性能提升可能开始边际递减。
从"规模"到"密度"：清华大学和面壁智能团队提出的"密度法则"指出，大模型的能力密度正以指数级速度增长（约每3.5个月翻一倍）。这意味着，未来的方向可能不再是盲目追求"更大的块头"，而是追求"更高的密度"——用更精炼的参数实现更强的智能。
迈向"世界模型"：下一个突破点或许不是继续堆砌语言数据，而是让模型学习世界的因果规律，即构建"世界模型"。届时，扩展的维度将从"文字预测"转向"模拟现实"的逼真度和准确性。
总结
总的来说，经典的扩展法则指导了过去几年大模型的野蛮生长，证明了规模的力量。而现在，我们正处在一个新的十字路口：一方面，对稀疏模型、推理阶段的新扩展法则的研究正在深化；另一方面，对"模型密度"和"世界模型"的探索，预示着后扩展法则时代的多样性可能。