【推理优化】投机解码：用一个小模型加速大模型
自回归生成的串行瓶颈
要理解投机解码为何能带来数量级的加速，首先必须精确地理解它要解决的问题——自回归生成（autoregressive generation）的串行瓶颈。这不是一个可以靠硬件升级或工程优化绕过的软约束，而是 Transformer 架构在数学上自带的硬性限制。
串行等待：一步一个 token 的强制节奏
大语言模型的生成过程，本质是一个逐 token 递推的马尔可夫过程。在第ttt步，模型接收前t−1t-1
要理解投机解码为何能带来数量级的加速，首先必须精确地理解它要解决的问题——自回归生成（autoregressive generation）的串行瓶颈。这不是一个可以靠硬件升级或工程优化绕过的软约束，而是 Transformer 架构在数学上自带的硬性限制。
大语言模型的生成过程，本质是一个逐 token 递推的马尔可夫过程。在第ttt步，模型接收前t−1t-1