对话优化标记器的潜力：一种将 LLM 推理效率提高 10% 的方法

概述

LLM 的计算资源和能耗与模型中的标记数成正比增长。为了减少标记符的数量，设计高效的标记符生成器非常重要。目前许多标记化器都是针对静态、结构化语料库（如书籍和网络文本）进行优化的。然而，聊天机器人是 LLM 在实践中的主要应用，主要是具有不同输入和输出格式的对话文本。

针对这一空白，本研究重新设计了 “对话优化标记符号化器”。具体地说，我们使用真实世界的聊天数据 LMSYS Chat 1M 重新训练了几种 LLM 的标记化器。

结果表明，标记符号的减少量最高可达 10%，甚至更多，这表明了提高能效的潜力。另一方面，对训练语料的影响有限，预计对模型性能的负面影响也很小。

建议采用的方法

本研究探讨了能否针对会话数据优化现有的标记符号生成器，以减少标记符号数量和推理过程中的能耗成本。

作为该方法的第一步，LMSYS Chat 1M 语料库的 80% 用于训练，20% 用于评估。然后建立三种类型的标记化器，仅使用用户输入、仅使用模型响应或同时使用用户输入和模型响应进行重新标记化。为确保公平比较，重新训练使用的算法和设置与每个模型的原始标记化器相同。

生育率"（每个词的标记数）和 "标记减少率 "用于评估。作为文本压缩效率的一项指标，"生字率 "尤其有用。与原始标记器相比，重新标记的模型在减少标记总数方面表现出一致的趋势。在回复方面的优化尤其有效，这也与聊天回复占大部分文本的情况相符。

结论是，这些设计可以在不影响模型通用性的情况下对标记符进行实际改进。

实验

本研究通过三项实验测试了对话优化标记符的有效性。

在第一个实验中，对八个 LLM 模型（GPT-4、GPT-4o、DeepSeek-R1、LLaMA-3.1、Gemma-2、Mistral-7B、BLOOM 和 Phi-4）中现有标记符的性能进行了评估。结果表明，所有模型在对话数据上的标记效率（生育率）都有所下降，这表明有必要进行优化。

接下来的实验证实，重新训练的标记符号生成器可以比原始标记符号生成器减少 5-10% 或更多的标记符号。其中，Gemma-2、Mistral-7B 和 BLOOM 的改进幅度超过了 10%，而针对具体语言的分析也表明，在英语和西班牙语等数据量大的语言中，减少幅度更为明显。

最后一项实验研究了重新训练的标记符对传统训练数据（C4 语料库）的影响。在大多数模型中，标记数只增加了 1-2%，而在某些模型中，标记数在某些情况下反而减少了。这表明，引入会话优化并不会明显降低模型的通用性。