Transformer 从零开始

环境

conda create -n torch python=3.12 conda activate torch # Install PyTorch (CPU version) pip install torch torchvision # Install PyTorch with CUDA (version <= nvidia-smi shown) # https://pytorch.org/get-started/locally pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

运行

• 代
• 关键：Decoder-only, RoPE, GQA, MoE, SwiGLU

cd start-deep-learning/practice/Transformer pip install -r requirements.txt python build_transformer.py

BATCH_SIZE 4, 可以改 32，如果显存够大。我呢，训不太动 😢

进化线

之后是概括，给一些关键词。基此问一下 AI，能得到更好的回答呢。

例如，DeepSeek 归纳了 5 条核心进化线，

如果把大模型比作一辆车：

• Attention是引擎（GQA/MLA 是省油技术）；
• Normalization是底盘悬挂（RMSNorm 保证行驶稳定）；
• 激活函数是燃油标号（SwiGLU 是高标号汽油）；
• 位置编码是导航系统（RoPE 让你知道该去哪）；
• 架构是车身设计（Decode-Only 最终统一了赛道）。

这些进化线相互配合，才有了今天又长、又快、又强的 LLM。

架构进化

Encoder-Decoder: 原始，适合 Seq2Seq 任务

Decoder-only (Causal): 当前，经过 Scaling Laws 验证

Attention 进化

KV Cache 优化，