Transformer Block数据流：从输入到输出的向量漫游指南

1. 化身词向量：开启Transformer Block奇幻漂流

想象你是一个代表"苹果"的词向量，此刻正站在Transformer Block的入口。这个由512维浮点数构成的你（假设维度d_model=512），即将开始一场信息加工的奇幻漂流。和人类不同，你会同时走两条路：一条是布满计算设备的"主干道"，另一条是直达终点的"高速公路"（残差连接）。这种分身术是Transformer稳定训练的核心设计——即使某个子层学坏了，原始信息也能通过捷径无损传递。

作为第一批体验Pre-Norm结构的向量（Llama、GPT-3等现代模型均采用此设计），你要先经过RMSNorm归一化。这个过程就像音响师调整音量旋钮，把你所有维度的数值调整到合理范围。具体来说，RMSNorm会计算你所有数值的均方根值，然后按这个基准进行缩放。与老式LayerNorm不同，它省去了均值中心化步骤，计算量更小但效果相当。

2. 注意力舞台：当向量开始"社交"

2.1 生成QKV通行证

归一化后的你来到多头注意力大厅，这里要完成三个关键操作：

1. 查询向量（Q）：就像你举着写有"我是苹果，找相关特征"的牌子
2. 键向量（K）：准备回答其他向量关于"我能提供什么信息"的提问
3. 值向量（V）：实际携带的特征信息包

这三个向量通过不同的权重矩阵（W_Q, W_K, W_V）生成。假设采用8个头（n_heads=8），每个头的维度就是64（512/8）。这意味着你会被拆分成8个更小的"分身"，各自参与不同模式的注意力计算。

2.2 注意力得分狂欢节

现在你（Q）要和句子中所有词向量（K）计算关联度。以"苹果很甜"这句话为例：

1. 计算与"苹果"自己的相关性（总能拿到高分）
2. 计算与"甜"的相关性（水果属性导致较高分）
3. 计算与"很"的相关性（通常得分较低）

这些得分经过softmax变成概率分布后，会加权求和所有向量的V值。最终你得到的attn_output既保留了自己的核心特征，又融入了"甜"的味觉属性。有趣的是，如果是"苹果发布会"这样的语境，你的注意力会更多集中在"发布会"上，这就是自适应的上下文理解。

3. 残差连接：信息传输的保险丝

刚获得新特征的你此刻面临关键抉择：如何对待原始的自己？Transformer采用了残差相加策略：

x_intermediate = original_x + attn_output

这个看似简单的操作实则暗藏玄机：

• 当attn_output效果不佳时，原始信息能确保模型不会退化
• 反向传播时梯度可以直通底层，缓解梯度消失
• 允许模型构建更深层的网络（如GPT-3有96层）

实测显示，加入残差连接后训练稳定性提升300%以上。你可以理解为这是条紧急逃生通道，确保无论内部计算多复杂，基本信息流始终畅通。

4. FFN子层：知识的炼金术

4.1 二次归一化

现在你进入第二加工站——前馈神经网络(FFN)。首先要再次经过RMSNorm，就像在进入实验室前再做次消毒。这次归一化主要解决注意力计算可能带来的数值波动，为后续非线性变换做准备。

4.2 SwiGLU魔法

现代Transformer常用SwiGLU作为FFN激活函数，其核心公式为：

ffn_output = (swish(xW1) * xW2) @ W3

其中swish函数是sigmoid与线性门的结合。以你"苹果"向量为例：

1. 第一层线性变换（W1）将512维映射到1382维（d_ff=1382）
2. Swish激活会增强与"水果"相关的神经元
3. 第二层线性变换（W3）将维度压缩回512维

这个过程就像知识蒸馏：先大幅扩展特征空间进行模式匹配，再精炼出有用信息。实验表明，SwiGLU比传统ReLU的模型性能提升约15%。

5. 最终合成：向量的华丽蜕变

经历第二次残差连接后，你完成了全部蜕变：

final_output = x_intermediate + ffn_output

此刻的你：

• 保留了原始词义的基本特征
• 融合了句子级别的上下文信息（来自Attention）
• 注入了世界知识（来自FFN）
• 数值范围保持稳定（得益于两次Pre-Norm）

如果把这个Block比作信息加工厂，输入时的你像是生鲜水果，输出时则变成了包含营养成分表、产地信息、推荐食谱的完整商品包装。这种转变不是替换而是增强，就像给原始数据不断添加注释层。

6. 代码视角：解剖Transformer Block

让我们用PyTorch风格代码还原整个流程：

class TransformerBlock(nn.Module): def __init__(self, d_model=512, n_heads=8, d_ff=1382): super().__init__() # 注意力子层 self.attn_norm = RMSNorm(d_model) self.attention = MultiheadAttention(d_model, n_heads) # FFN子层 self.ffn_norm = RMSNorm(d_model) self.ffn = nn.Sequential( nn.Linear(d_model, d_ff), nn.SiLU(), # SwiGLU激活 nn.Linear(d_ff, d_model) ) def forward(self, x): # 第一子层 residual = x x = self.attn_norm(x) attn_out = self.attention(x) x = residual + attn_out # 第二子层 residual = x x = self.ffn_norm(x) ffn_out = self.ffn(x) return residual + ffn_out

关键参数说明：

• d_model: 向量维度（如512）
• n_heads: 注意力头数（如8）
• d_ff: FFN隐藏层维度（通常为4*d_model）

7. 现实启示：为什么这种设计有效

这种交替式结构（Attention+FFN）的成功绝非偶然：

1. 注意力机制擅长捕捉序列内关系，但缺乏特征变换能力
2. FFN精于模式提取，却看不到全局上下文
3. 残差连接确保信息无损传递，允许堆叠更多层
4. Pre-Norm比传统Post-Norm更利于梯度流动

在大模型训练中，每个Block就像个微型知识加工厂。当数百个这样的Block串联时，早期层可能学习语法规则，中间层捕捉语义关系，高层则处理复杂推理。这种分工协作的涌现能力，正是Transformer横扫NLP领域的关键。