Token(词元)，5分钟彻底搞懂

需要注意的是，Token 的实际切分由各模型厂商自研的 Tokenizer（分词器）独立完成，因此相同文本在不同模型上会产生不同的 Token 数量与序列。以上提及的换算比例等数据，均为行业通用估算参考。

下面通过代码实战，带你彻底搞懂。首先打开命令行窗口，使用 pip 命令安装 transformers和PyTorch 开发库。

pip install transformers torch

安装完成后，我们便可以借助 transformers 库加载主流的分词器，直观地观察文本到 Token 的切分过程。以下是具体代码示例：

# 首先从 transformers 库中导入 AutoTokenizer 类，它能自动适配不同大模型的分词规则 from transformers import AutoTokenizer # 接着从预训练权重加载 Qwen2 模型的分词器 # 注意： "Qwen2_tokenizer"是下载到本地自命名的分词器 ，下载地址见文章最后链接 tokenizer = AutoTokenizer.from_pretrained("Qwen2_tokenizer") # 定义待处理的输入文本 text = "你好，我是cool。" # --------------------------------------------------------- # 第1步：分词 (Tokenization) # --------------------------------------------------------- # 使用 BPE算法将文本切分为“子词单元” # 规则是：常见词为1个Token，复杂词会拆开，标点也算Token。 bpe_codes = tokenizer.tokenize(text) # 先打印出来看一下结果 print(bpe_codes) # 为了让分词结果可读，需要做一下处理 decoded_result = [] for bpe_code in bpe_codes: # 先将子词转换为模型词汇表中的ID id = tokenizer.convert_tokens_to_ids(bpe_code) # 再将单个ID解码回文本并将结果存起来 decoded = tokenizer.decode([id]) decoded_result.append(decoded) # 输出最终的分词列表 print("分词结果：", decoded_result) # --------------------------------------------------------- # 第2步：向量化 (Numericalization) # --------------------------------------------------------- # 将字符串形式的 Token 列表转换为模型能处理的整数 ID 列表 # 这是大模型的“输入语言”（模型只认识数字，不认识文字） token_ids = tokenizer.convert_tokens_to_ids(bpe_codes) print("向量ID：", token_ids) # --------------------------------------------------------- # 第3步：统计 Token 数量 # --------------------------------------------------------- # 计算 Token 总数 count = len(token_ids) print("Token总数：", count) # 将 ID 列表完整解码回原始文本 print("解码结果：", tokenizer.decode(token_ids))