Megatron-LLM快速上手：手把手微调LLaMa 2 7B的完整实战教程（含500M tokens代码数据）

Megatron-LLM快速上手：手把手微调LLaMa 2 7B的完整实战教程（含500M tokens代码数据）

【免费下载链接】Megatron-LLMdistributed trainer for LLMs项目地址: https://gitcode.com/gh_mirrors/me/Megatron-LLM

Megatron-LLM 是一个专为大语言模型（LLM）打造的开源分布式训练框架，支持 LLaMa、LLaMa 2、Code Llama、Falcon 和 Mistral 等主流架构的预训练、微调与指令微调。本篇 Megatron-LLM 微调教程将手把手带你用 500M tokens 的代码数据完成LLaMa 2 7B 微调的完整流程：从环境安装、数据预处理、权重转换，到启动训练和最终部署发布，全程约 6 个步骤即可跑通。

🎯 为什么选择 Megatron-LLM 微调 LLaMa 2？

对于新手来说，直接用 Hugging Face 微调 7B 模型常常卡在显存瓶颈上。Megatron-LLM 的核心优势在于：

• 三路并行：继承自 Megatron 的张量并行（TP）、流水线并行（PP）与数据并行（DP），单卡放不下也能多卡训；
• 架构支持全面：原生支持 LLaMa 2 / Code Llama / Falcon / Mistral 的特殊结构，如 RoPE 旋转位置编码、RMS LayerNorm、SwiGLU 激活（参见 megatron/model/llama_model.py）；
• 训练友好：支持 FlashAttention 2、BF16/FP16、选择性激活重计算，并提供 WandB 日志集成；
• 双向权重转换：一键在 Hugging Face 格式与 Megatron 检查点之间互转（weights_conversion/）。

🖥️ 第一步：环境安装与硬件要求

⚠️ 硬件门槛参考（来自官方 FAQ 实测）：LLaMa 2 7B 微调最低需要 2×80GB 显存（TP=2, PP=1）；更大规模可参考 LLaMa 2 70B 需要 32×80GB（TP=8, PP=4）。更多细节见 docs/guide/faq.md。

安装步骤非常直接：

# 1. 克隆仓库 git clone https://gitcode.com/gh_mirrors/me/Megatron-LLM.git cd Megatron-LLM # 2. 启动 NVIDIA PyTorch 容器（推荐，省去依赖折腾） sudo docker run --gpus all -it --rm --shm-size=128gb \ -v /path/to/Megatron-LLM/:/mpt/Megatron-LLM \ nvcr.io/nvidia/pytorch:23.07-py3 # 3. 安装依赖并编译数据加载辅助库 pip install -r requirements.txt cd megatron/data && make && cd ../../

完整入门文档见 docs/guide/getting_started.md。

📥 第二步：下载 LLaMa 2 7B 权重并转换为 Megatron 格式

1. 向 Meta 申请 LLaMa 2 权重访问权限，并申请 Hugging Face 上meta-llama/Llama-2-7b-hf模型的访问；
2. 创建 Hugging Face Token 并执行huggingface-cli login完成登录；
3. 运行官方转换脚本，把权重转成 Megatron 检查点：

python weights_conversion/hf_to_megatron.py llama2 --size=7 \ --out=/path/to/megatron/weights/ --cache-dir=/path/to/llama-2-7b/

转换逻辑位于 weights_conversion/hf_to_megatron.py，支持从 Meta 官方权重或 Hugging Face 权重两种来源自动识别加载。

📦 第三步：准备 500M tokens 代码数据并预处理

本教程使用 StarCoder 数据集中的Julia 语言子集（约 500M tokens）作为微调语料，任何符合.jsonl格式（每行一个含"text"键的 JSON 对象）的语料都可以替换使用。

from datasets import load_dataset import json dataset = load_dataset("bigcode/starcoderdata", data_dir="julia", split="train", cache_dir="/path/to/cache/") with open("/path/to/raw.jsonl", "w+") as f: for doc in dataset: f.write(json.dumps({"id": doc["id"], "text": doc["content"]}) + "\n")

接着用 tools/preprocess_data.py 把原始数据 tokenize 成二进制索引文件，训练时读取速度更快：

python tools/preprocess_data.py --input=/path/to/raw.jsonl \ --output_prefix=/path/to/tokenized/starcoder \ --tokenizer_type=SentencePieceTokenizer \ --vocab_file=/path/to/tokenizer.model \ --chunk_size=32 --workers=16 --no_new_tokens

💡 小提示：官方教程用序列长度 1024 来加速训练；LLaMa 2 官方序列长度为 4096，可按需调整。

🧩 第四步：模型分片（Sharding）准备并行训练

要使用张量并行，需要先用 tools/checkpoint_util.py 把转换好的单份权重切分成多份：

python tools/checkpoint_util.py \ --target_tensor_parallel_size 2 \ --target_pipeline_parallel_size 1 \ --load_dir /path/to/megatron/weights/ \ --save_dir /path/to/sharded/weights/ \ --model_type llama2 --true_vocab_size 32000 --bf16

如果你有 4 张及以上 GPU，可以把--target_tensor_parallel_size设为 4 进一步提速。

🚀 第五步：启动微调训练（finetune.py 参数详解）

一切就绪，用torchrun启动 finetune.py 微调入口：

COMMON_ARGS="--hidden_dropout 0.0 --attention_dropout 0.0 --no_bias_gelu_fusion" LLAMA_ARGS="--use_rms_norm --glu_activation swiglu --no_tie_embed_logits --no_new_tokens --layernorm_epsilon 1e-5" DISTRIBUTED_ARGS="--nproc_per_node 2 --nnodes 1 --node_rank 0 --master_addr localhost --master_port 8000" torchrun $DISTRIBUTED_ARGS finetune.py \ --tensor_model_parallel_size 2 --pipeline_model_parallel_size 1 \ --load /path/to/sharded/weights/ --save /path/to/sharded/weights/ \ --data_path /path/to/tokenized/starcoder_text_document \ --model_name llama2 --tokenizer_type SentencePieceTokenizer \ --vocab_file=/path/to/megatron/weights/tokenizer.model \ --bf16 --use_flash_attn \ --micro_batch_size 1 --global_batch_size 1000 \ --sequence_parallel --recompute_granularity selective --use_checkpoint_args \ --train_iters 500 --lr_decay_style cosine --lr_warmup_iters 50 --lr 3e-4 --min_lr 1e-6 \ $COMMON_ARGS $LLAMA_ARGS

📊训练量估算：全局 batch size 为 1000、语料约 500M tokens 时，跑 500 个迭代约等于1 个完整 epoch；在 8×80GB A100 集群上大约需要 20 小时。多机训练只需修改DISTRIBUTED_ARGS中的nnodes/node_rank/master_addr，推荐超参数可参考 examples/finetune.sh。

✅可选校验：训练前建议运行 verify_correctness.py，它会同时跑官方 LLaMa 2 实现与 Megatron 实现对比输出 logits——32 位精度下平均绝对误差应 < 0.01，16 位精度下 < 0.1，确保权重转换无误。

📤 第六步：训练后权重合并与部署发布

训练完成后，分片权重需要合并回单份模型，再转回 Hugging Face 格式即可无缝部署：

# 1. 合并分片权重 python tools/checkpoint_util.py \ --target_tensor_parallel_size 1 --target_pipeline_parallel_size 1 \ --load_dir /path/to/sharded/weights/ \ --save_dir /path/to/unsharded/weights/ \ --model_type llama2 --true_vocab_size 32000 --bf16 # 2. 转换为 Hugging Face 格式 python weights_conversion/megatron_to_hf.py \ --input_dir=/path/to/unsharded/weights/ --output_dir=/path/to/hf/weights/

转换脚本 weights_conversion/megatron_to_hf.py 会同时转换 tokenizer，之后即可用transformers.pipeline("text-generation", ...)直接加载你的微调模型进行推理。

💡 常见问题：TP/PP 如何设置？

新手最常纠结的就是并行策略，官方 FAQ 给出了清晰的经验法则：

• 能不用模型并行就不用：优先堆数据并行，单卡装得下、micro batch 够大时 TP/PP 都设 1；
• 单机优先张量并行，跨节点时 PP 尽量小、保证 micro batch ≥ 5；
• GPU 数量公式：GPUs = DP × TP × PP，数据并行度会由框架自动推算。

更多细节（如多节点启动、添加特殊 token）见 docs/guide/faq.md。

🏁 总结与下一步

本教程带你完整走通了 Megatron-LLM 微调 LLaMa 2 7B 的六步流程：环境安装 → 权重转换 → 数据预处理（500M tokens）→ 模型分片 → 分布式微调 → 合并部署。接下来你可以继续探索：

• 指令微调（Instruct Tuning）：让模型学会遵循指令，见 docs/guide/instruction_tuning.md；
• 更大规模训练示例：examples/parallelize.sh；
• 核心并行实现：megatron/core/tensor_parallel/。

🎉 完成这次实战，你就已经掌握了用商品级硬件微调 7B 级开源大模型的全部关键技能！

【免费下载链接】Megatron-LLMdistributed trainer for LLMs项目地址: https://gitcode.com/gh_mirrors/me/Megatron-LLM