从零构建320万参数微型语言模型：拆解Transformer与自注意力机制

1. 项目概述：从零构建一个“弗兰肯斯坦”风格的小型语言模型

如果你对ChatGPT、Claude这些大语言模型（LLM）的内部运作感到好奇，甚至觉得它们有点“黑箱”魔法，那么你找对地方了。今天，我们不谈那些千亿参数的庞然大物，而是亲手从零开始，用一本19世纪的哥特小说《弗兰肯斯坦》，锻造一个属于你自己的、约320万参数的微型语言模型。这听起来可能有点疯狂——用一本关于人造生命的小说，来创造一个数字化的“人造智能”——但这正是理解LLM本质最直接、最深刻的方式。

这个项目的核心目标不是复现一个商业级的聊天机器人，而是拆解魔法，理解原理。通过构建一个最原始、未经任何指令微调或人类反馈强化学习（RLHF）的模型，你将亲眼看到：所谓的“人工智能写作”，其底层不过是一台学习统计规律的精密机器。它没有意识，没有理解，只是在玩一个极其复杂的“猜下一个字符”的游戏。我们将全程在Kaggle的免费GPU上完成，整个过程大约需要20-30分钟，你甚至不需要是经验丰富的程序员，我会带你走过每一行代码。

为什么选择《弗兰肯斯坦》？除了那点讽刺的诗意，更实际的原因是它是一份纯净、完整、版权自由的单语料文本。这让我们能跳过繁杂的数据收集和清洗，直接聚焦于模型架构、训练和推理的核心机制。当你看到这个模型开始用玛丽·雪莱的笔触续写句子时，你会对“模型究竟学到了什么”有一个前所未有的具象认识。

2. 环境准备与数据基石：在Kaggle上安家

我们的整个项目将在Kaggle Notebook中完成。Kaggle提供了免费的GPU资源（通常是T4），这对于训练小型神经网络来说绰绰有余，能让我们把等待时间从几小时压缩到几十分钟。

2.1 创建并配置Kaggle Notebook

首先，访问Kaggle.com并注册/登录。点击“Notebooks”标签页，然后选择“New Notebook”。在新建的Notebook界面，你需要进行两个关键设置：

1. 开启互联网连接：在右侧边栏的“Settings”中，找到“Internet”选项并切换为“On”。这是为了后续能从网络下载《弗兰肯斯坦》的文本。
2. 选择GPU加速器：同样在“Settings”中，找到“Accelerator”选项，选择“GPU T4 x2”。虽然我们的模型很小，但GPU能极大加速矩阵运算，这是神经网络训练的核心。

完成这些，你的云端编程环境就准备好了。Kaggle Notebook由一个个“单元格”（Cell）组成，你可以将其理解为代码的段落。我们接下来的所有代码都将按步骤填充到不同的单元格中。

2.2 获取与理解我们的“训练数据”

所有机器学习项目都始于数据。我们的数据源是古登堡计划（Project Gutenberg）上《弗兰肯stein》的纯文本版本。这是一个非常干净的来源，但下载下来的文本包含了一些项目信息、版权声明等元数据，我们需要提取出小说的正文部分。

我们通过Python的urllib库来下载文本。关键在于定位正文的起止点。通过观察文本结构，我们发现小说正文从“Letter 1”开始，到“*** END OF THE PROJECT GUTENBERG EBOOK”结束。我们用字符串查找功能来截取这部分内容。

注意：不同版本的古登堡电子书格式可能有细微差别。如果上述起止标记不适用，代码中的三元运算符if start_idx != -1 and end_idx != -1 else raw_text会确保我们至少使用全部原始文本，但可能会包含一些前言后记，这可能会轻微影响模型的纯粹性。在实际操作中，运行后可以打印text的前500个字符检查一下。

2.3 字符级分词：将文学转化为数字

计算机无法直接理解字母。它只认识数字。因此，我们需要将整本小说“翻译”成数字序列，这个过程叫做分词（Tokenization）。像GPT-4这样的现代模型使用更高效的子词（subword）分词，但对于我们这个教学性质的微型模型，我们采用最直观的字符级（character-level）分词。

这意味着每个独立的字符（包括字母、标点、空格）都将被赋予一个唯一的整数ID。例如，‘a’可能对应5，‘b’对应12，空格对应0。

具体操作是：

1. 从清洗后的文本text中，提取所有唯一的字符，排序后形成一个列表chars。这就是我们的“词汇表”。
2. 创建两个映射字典：
   • stoi(string to integer)： 给定一个字符，返回其对应的数字ID。
   • itos(integer to string)： 给定一个数字ID，返回其对应的字符。
3. 利用这两个映射，我们定义encode和decode函数，实现文本与数字序列之间的双向转换。

字符级分词的优点是简单、无损，词汇表很小（通常就几十到几百个token）。缺点是序列很长，效率较低，且模型需要从零学习单词和空格的概念。但这正是我们想要的——观察模型如何从最基础的单元开始构建语言。

3. 模型架构解析：Transformer的微型复刻

现在，我们进入核心部分：构建模型本身。我们将实现一个简化版的Transformer架构，这正是当今所有主流LLM的基石。别被这个名字吓到，我们可以把它拆解成几个功能明确的组件来理解。

3.1 超参数：模型的“设计蓝图”

在写第一行神经网络代码之前，我们先定义一组超参数。你可以把它们想象成建筑图纸上的各种规格：楼有多高，房间有多大。这些参数决定了我们模型的能力和训练方式。

# 超参数定义 batch_size = 64 # 每次训练同时看64个文本块 block_size = 256 # 模型每次能看到的上下文长度（记忆跨度） max_iters = 5000 # 训练迭代总次数 eval_interval = 500 # 每500步评估一次损失 learning_rate = 3e-4 # 学习步长，决定参数调整的幅度 n_embd = 256 # 嵌入维度，即每个字符向量的“思想空间”大小 n_head = 4 # 注意力头的数量 n_layer = 4 # Transformer块的堆叠层数 dropout = 0.2 # 随机丢弃部分神经元，防止过拟合

• batch_size： 批量大小。一次训练不是处理一个句子，而是同时处理64个随机文本片段。这能提供更稳定的梯度信号，并充分利用GPU的并行计算能力。
• block_size： 上下文窗口大小。这是模型的“短期记忆”长度。我们的模型在预测下一个字符时，最多只能回顾它前面的256个字符。这限制了它能把握的长期依赖关系，但对于学习单词和短句结构足够了。
• n_embd： 嵌入维度。每个字符在被输入模型前，会被转换成一个长度为256的向量。你可以把这个向量想象成该字符在一个256维空间中的坐标。模型训练的过程，就是学习如何把语义相关的字符（比如所有元音）在这个高维空间中摆放到相近的位置。
• n_head与n_layer： 这是Transformer的深度和宽度。n_layer=4意味着我们有4层Transformer块堆叠。n_head=4意味着每层中的自注意力机制有4个并行的“头”，每个头可以专注于学习不同类型的关系（例如，一个头学词性，一个头学句法结构）。

3.2 自注意力机制：模型理解上下文的核心

Transformer的灵魂是自注意力（Self-Attention）。它的作用可以类比为阅读时的高亮笔和思维连线。

假设模型读到一句话：“The animal didn’t cross the street because it was too tired.” 当处理到“it”时，它需要知道“it”指代的是“animal”还是“street”。人类能轻松判断，但模型需要一种机制。

自注意力机制让模型在处理“it”这个位置时，可以去“看”句子中所有其他的词（包括“animal”和“street”），并计算一个“注意力分数”。这个分数决定了在理解“it”时，每个其他词应该占据多少权重。通过计算，模型会给“animal”很高的分数，给“street”很低的分数，从而正确建立指代关系。

在我们的字符级模型中，这个过程发生在更细的粒度上。每个“注意力头”都在学习字符之间的统计关联。例如，当看到字母“q”时，哪个头可能会强烈关注下一个位置应该是“u”。

3.3 构建Transformer块：注意力与前馈网络的组合

一个完整的Transformer块由两个主要子层构成，并包裹在残差连接和层归一化中。

1. 多头自注意力层（Multi-Head Attention）： 如上所述，我们并行运行多个（这里是4个）注意力头，每个头从不同角度学习字符关系，最后将它们的输出合并。这就像有多位专家同时分析文本，然后综合意见。
2. 前馈网络层（Feed-Forward Network）： 在注意力层聚合了全局信息后，前馈网络对每个位置（每个字符）的特征进行独立的、复杂的非线性变换。你可以把它理解为每个字符在获得了上下文信息后，进行的“深度思考”或“信息消化”过程。
3. 残差连接（Add）与层归一化（LayerNorm）： 这是训练深层网络的关键技巧。残差连接允许信息直接从一层“跳跃”到下一层，缓解梯度消失问题。层归一化则稳定了每一层输出的数据分布，让训练过程更平滑、更快。

我们的模型将这样的Transformer块堆叠了4层（n_layer=4）。数据从底部输入，依次通过每一层，每一层都不断提炼和深化对序列的理解。

3.4 组装完整模型：从字符到预测

最终，我们将所有组件组装成EngineeredLLM类。

1. 嵌入层（Embedding）：
   • token_embedding_table： 将每个字符的整数ID映射成一个n_embd维的稠密向量。这是模型学习到的字符的“含义”。
   • position_embedding_table： 因为Transformer本身不考虑顺序，我们需要额外注入位置信息。这个表为序列中的每个位置（0到255）也生成一个向量。这样，模型就能知道“第一个字符”和“最后一个字符”的区别。
   • 字符嵌入和位置嵌入相加，作为Transformer块的输入。
2. Transformer栈： 输入向量经过我们堆叠的4个Transformer块。
3. 最终层归一化与输出头： 经过所有块处理后，数据进行一次最终的层归一化（ln_f），然后通过一个线性层（lm_head）将高维特征映射回词汇表大小。这个输出就是每个字符作为“下一个字符”的未归一化分数（logits）。

forward函数定义了前向传播：输入字符索引，输出预测logits和损失值。generate函数则用于推理：给定一个起始序列，模型迭代地预测下一个字符，并将其追加到序列后，生成新的文本。

4. 训练过程全解：让模型学会“猜字”

架构搭建好了，但里面的3.27百万个参数（那些“旋钮”）还是随机初始化的。现在的模型输出完全是乱码。训练的目的，就是通过大量数据，把这些旋钮调到正确的位置。

4.1 训练循环：猜字、评分、调整

训练的本质是一个迭代优化的过程。我们把它拆解成以下步骤，循环执行5000次（max_iters）：

1. 采样数据批次： 调用get_batch(‘train’)函数。它从训练数据中随机抽取batch_size个长度为block_size的连续字符序列作为输入xb。同时，它生成对应的目标yb，即xb中每个字符的下一个字符。这就是“猜下一个字”游戏的题目和答案。
2. 前向传播与损失计算： 将xb输入模型，模型输出预测logits。损失函数（这里使用交叉熵损失）计算预测logits和真实目标yb之间的差异，得出一个标量损失值。这个值越低，说明模型猜得越准。
3. 反向传播： 调用loss.backward()。这是PyTorch的自动微分功能在起作用。它从损失值开始，利用链式法则，反向计算损失相对于模型中每一个参数的梯度。梯度指明了每个参数应该朝哪个方向（增大或减小）、以多大的幅度调整，才能降低损失。你可以把它看作一份详细的“错误诊断报告”。
4. 参数更新： 优化器（我们使用AdamW）根据计算出的梯度，按照learning_rate（学习率）指定的步长，更新所有参数。学习率是一个关键超参数：太大可能导致训练不稳定（“蹦极”），太小则学习速度过慢。
5. 周期评估： 每500步（eval_interval），我们不仅在训练集上计算损失，还会在预留的验证集（val_data）上计算损失。验证损失是衡量模型泛化能力（是否过拟合）的关键指标。我们希望看到训练损失和验证损失都稳步下降。

4.2 理解损失曲线与过拟合

在训练过程中，你会看到控制台打印的损失值。初始损失会很高（约4.6，对于交叉熵损失，这接近随机猜测）。随着训练进行，损失应稳步下降。

• 理想情况：训练损失和验证损失同步下降，并在后期趋于平稳。这意味着模型既学到了数据中的普遍规律，又没有过度记忆训练集的特定细节。
• 过拟合（Overfitting）：如果训练损失持续下降，但验证损失在某个点后开始上升，这就是过拟合的典型信号。意味着模型开始“死记硬背”训练文本，而不是学习可泛化的语言模式。对于我们的单本书训练，这是一个真实风险。如果训练迭代次数（max_iters）设置得过高，模型最终可能完美复述《弗兰肯斯坦》，但对任何新开头的续写都缺乏创造力。我们的5000次迭代是一个经验值，旨在达到一个平衡点。

实操心得：在Kaggle上运行训练时，务必留意GPU的运行时间限制（通常是9小时）。我们的训练大约需要20-30分钟。如果中途中断，你可以保存模型的检查点（torch.save(model.state_dict(), ‘model.pth’)），下次运行时加载（model.load_state_dict(...)）后继续训练，而无需从头开始。

5. 模型推理与文本生成：唤醒我们的“创造物”

训练完成后，model.eval()将模型切换到评估模式。这会关闭Dropout等仅在训练中使用的随机性操作，确保生成结果稳定。

现在，来到最激动人心的环节：让模型生成文本。我们通过model.generate()函数来实现。

1. 条件化输入： 给定一个用户输入的起始字符串（如”The creature“），我们首先用encode函数将其转换为字符索引序列。
2. 自回归生成： 这是一个循环过程： a. 将当前序列（如果长度超过block_size，则截取最后block_size个字符）输入模型。 b. 模型输出对序列中最后一个位置的下一个字符的预测（logits）。 c. 将logits通过softmax函数转换为概率分布。 d. 根据这个概率分布，采样下一个字符的索引（torch.multinomial）。这里使用采样而非直接选概率最大的，是为了引入随机性，使生成文本更有趣、更多样。 e. 将采样得到的字符索引追加到序列末尾。 f. 重复步骤a-e，直到生成指定数量（max_new_tokens）的新字符。
3. 解码输出： 最后，将生成的数字序列通过decode函数转换回字符，呈现给用户。

你会发现，这个模型生成的文本带有浓郁的19世纪英语散文风格，有时会出现语法正确但语义古怪的句子，有时则会惊人地连贯。它学会了单词拼写、基础语法（如主谓一致）、标点使用，甚至模仿了玛丽·雪莱的一些句式结构。但它没有“理解”故事内容，它只是学到了《弗兰肯斯坦》文本中字符序列的统计规律。

6. 关键问题排查与性能调优指南

在实际操作中，你可能会遇到一些问题。以下是一些常见情况的诊断与解决思路：

6.1 训练损失不下降或下降缓慢

• 可能原因1：学习率不当。学习率learning_rate是最大的嫌疑犯。3e-4对于AdamW优化器和我们这个规模的模型是常用起点。如果损失几乎不动，可以尝试增大到1e-3；如果损失剧烈震荡或变成NaN，则需减小到1e-4或更小。
• 可能原因2：梯度消失/爆炸。虽然Transformer和残差连接缓解了此问题，但在极深或配置不当的网络中仍可能出现。确保使用了层归一化（LayerNorm），并且初始化权重是合理的（PyTorch默认初始化通常工作良好）。
• 可能原因3：数据或预处理问题。检查text变量是否成功加载了小说正文（打印前几百字符）。确认vocab_size是否合理（英文文本字符级词汇表通常在100以内）。

6.2 模型生成的文本全是乱码或重复字符

• 可能原因1：训练不充分。验证损失是否已降至一个较低的平台（例如1.5以下）。如果损失还在2.0以上，模型可能尚未学到足够强的规律。增加max_iters（例如到8000或10000）继续训练。
• 可能原因2：推理时温度参数。我们的生成代码使用了基于概率的采样。如果模型输出的概率分布非常尖锐（其中一个字符的概率远高于其他），采样结果可能会缺乏多样性。更高级的生成策略会引入“温度”参数来平滑分布。你可以修改生成代码：probs = F.softmax(logits / temperature, dim=-1)，其中temperature在0到1之间降低随机性（更确定），大于1增加随机性（更有创意但可能不合语法）。
• 可能原因3：过拟合。如果模型在训练集上损失极低，但生成的文本看似合理却总是陷入循环或生成无意义的固定短语，这可能是过拟合。尝试增加dropout率（如从0.2提高到0.3或0.4），或在数据层面进行轻微的数据增强（但字符级数据增强较难）。

6.3 Kaggle环境下的特定问题

• GPU内存不足（OOM）： 我们的模型很小，通常不会遇到。但如果增大batch_size、block_size或模型维度，可能会触发。错误信息通常包含CUDA out of memory。解决方案是降低这些超参数。
• 会话断开或超时： Kaggle Notebook在无操作一段时间后会休眠。长时间训练时，可以定期在单元格中打印输出（就像我们每500步打印损失一样），以保持会话活跃。考虑将关键结果（如最终模型权重、损失曲线）保存到Kaggle的输出目录或关联的Google Drive。
• 依赖包版本冲突： 我们主要依赖PyTorch。Kaggle环境通常预装了较新版本。如果代码因版本问题报错，可以在Notebook的第一个单元格使用!pip install torch==特定版本来指定安装。

6.4 扩展实验与改进思路

当你成功运行了基础版本后，可以尝试以下实验来加深理解：

1. 改变超参数： 将n_layer从4减少到2，观察模型能力是否显著下降；增加到6，观察训练时间变化和潜在的过拟合风险。调整n_embd（模型宽度）也有类似效果。
2. 更换训练文本： 尝试用另一本风格迥异的书（如《傲慢与偏见》或一份现代科技新闻数据集）进行训练。对比生成文本的风格差异，直观感受“数据即命运”的含义。
3. 实现波束搜索（Beam Search）： 将生成函数中的采样策略改为波束搜索。这不再是随机采样下一个字符，而是在每一步保留概率最高的k个候选序列，最终选择整体概率最高的序列。这通常会生成更流畅、语法更正确的文本，但可能缺乏惊喜。
4. 尝试子词分词： 将字符级分词升级为Byte-Pair Encoding (BPE)等子词分词。这能提升模型处理未知单词和效率，但需要更复杂的分词器实现。

构建这个微型LLM的过程，就像亲手组装了一台精密的机械钟表。你看到了每一个齿轮（注意力头）如何咬合，每一根发条（梯度）如何驱动指针（预测）。它或许走时不够精准（生成的文本时有谬误），但它的每一次滴答，都清晰地向你展示了统计规律如何从数据中浮现，最终模拟出类似“智能”的行为。这种从第一性原理出发的实践，是破除对AI神秘感最有效的方式。当你下次与一个大型语言模型对话时，你看到的将不再是一个模糊的智能体，而是一个在庞大参数空间中，依据你提供的上文，高速计算下一个最可能token的、复杂而优美的数学函数。