LLaMA-Factory 实战：从零微调 Qwen2.5 大模型的完整指南

LLaMA-Factory 实战：从零微调 Qwen2.5 大模型的完整指南

一、引言

大语言模型（LLM）正在重塑软件开发的面貌。然而，通用模型在面对垂直领域任务时往往力不从心：医疗诊断需要专业术语理解，法律文书需要精确条款引用，金融分析需要实时数据解读。微调（Fine-tuning）是解决这一问题的核心手段。

本文将使用LLaMA-Factory——目前最流行的 LLM 微调框架之一，从零完成 Qwen2.5-7B 的全参数监督微调（SFT）和 DPO 偏好对齐。你将学到：LoRA/QLoRA 量化原理、数据构造策略、训练超参调优、vLLM 推理部署的全链路方案。

二、技术背景：为什么选择 LLaMA-Factory + Qwen2.5

2.1 LLaMA-Factory 的优势

LLaMA-Factory 是 GitHub 上 Star 数超过 40k 的开源微调框架，核心优势：

• 模型覆盖广：支持 LLaMA、Qwen、ChatGLM、Mistral、DeepSeek 等 100+ 模型
• 方法丰富：SFT、DPO、RLHF、PPO、KTO、ORPO 全覆盖
• 量化高效：支持 QLoRA（4bit）、DoRA、GaLore 等显存优化
• Web UI 可视化：一行llamafactory-cli webui启动图形界面
• 一键导出：支持合并 LoRA 权重、GGUF/ONNX 导出

2.2 Qwen2.5 模型特性

Qwen2.5 是阿里通义千问的最新开源系列：

选择 7B 的理由：单张 24GB 显存 RTX 3090/4090 即可全参数微调（使用 QLoRA），推理速度快（50+ token/s），效果接近 14B 模型。

三、环境搭建

3.1 硬件要求

3.2 安装步骤

# 克隆仓库gitclone https://github.com/hiyouga/LLaMA-Factory.gitcdLLaMA-Factory# 创建虚拟环境conda create-nllamafactorypython=3.10-yconda activate llamafactory# 安装依赖（CUDA 12.1）pipinstalltorch==2.4.0torchvision==0.19.0 --index-url https://download.pytorch.org/whl/cu121 pipinstall-e".[torch,metrics]"# 安装 Flash-Attention（可选，大幅加速）pipinstallflash-attn --no-build-isolation# 验证安装llamafactory-cli version# 输出: LLaMA-Factory version: 0.9.1.dev0

3.3 下载基础模型

# 方法1: 通过 HuggingFace CLIhuggingface-cli download Qwen/Qwen2.5-7B --local-dir models/Qwen2.5-7B# 方法2: 通过 ModelScope（国内更快）pipinstallmodelscope modelscope download--modelQwen/Qwen2.5-7B--local_dirmodels/Qwen2.5-7B

四、SFT 数据构造

高质量的训练数据是微调成功的关键。以下是一个医疗问答领域的数据构造示例。

4.1 数据格式

LLaMA-Factory 支持两种格式：

格式1: Alpaca（推荐）

[{"instruction":"根据患者的症状和检查结果，给出可能的诊断建议。","input":"患者男性，45岁，主诉持续性胸痛3天，伴有呼吸困难。心电图显示ST段抬高。肌钙蛋白I升高至2.5ng/mL。","output":"根据临床表现和检查结果，该患者高度疑似急性ST段抬高型心肌梗死（STEMI）。建议：1. 立即启动急诊PCI绿色通道；2. 给予负荷剂量双抗（阿司匹林300mg+替格瑞洛180mg）；3. 持续心电监护；4. 准备冠状动脉造影。请注意，以上为AI辅助分析，最终诊断需由临床医生确认。","system":"你是一位经验丰富的心血管内科医生，请给出专业、准确、负责任的医学建议。"}]

格式2: ShareGPT（多轮对话）

[{"conversations":[{"from":"human","value":"什么是RESTful API的核心原则？"},{"from":"gpt","value":"RESTful API 的核心原则包括6个约束条件：\n1. **客户端-服务器架构**：分离关注点，客户端负责UI，服务器负责数据存储\n2. **无状态**：每个请求包含所有必要信息，服务器不保存客户端上下文\n3. **可缓存**：响应需明确标记是否可缓存\n4. **统一接口**：资源标识（URI）、资源表述（Representation）、自描述消息、HATEOAS\n5. **分层系统**：客户端无法区分直接连接还是通过中间层\n6. **按需代码**（可选）：服务器可传输可执行代码扩展客户端功能"},{"from":"human","value":"举一个HATEOAS的实际例子"},{"from":"gpt","value":"以GitHub API为例，访问 https://api.github.com/ 返回的响应中包含各种可用的链接："links": {"self": "https://api.github.com/", "user_repositories": "https://api.github.com/users/{user}/repos{?type,page,per_page,sort}", ...}。客户端通过解析这些链接来发现可用操作，无需硬编码URL。"}]}]

4.2 数据构造脚本

# data_construction.pyimportjsonimportrandomfromtypingimportList,DictclassMedicalDataGenerator:"""医疗领域 SFT 数据生成器"""# 疾病-症状-检查-诊断-治疗模板DISEASE_TEMPLATES={"急性心肌梗死":{"symptoms":["胸痛","呼吸困难","大汗","恶心"],"exams":["心电图: ST段抬高","肌钙蛋白I: 升高","CK-MB: 升高"],"diagnosis":"急性ST段抬高型心肌梗死（STEMI）","treatment":["急诊PCI","双抗治疗","β受体阻滞剂","ACEI/ARB"],"urgency":"极高"},"2型糖尿病":{"symptoms":["多饮","多尿","体重下降","乏力"],"exams":["空腹血糖: 8.5mmol/L","HbA1c: 8.2%","OGTT 2h: 14.2mmol/L"],"diagnosis":"2型糖尿病","treatment":["二甲双胍","饮食控制","运动疗法","血糖监测"],"urgency":"中"},"社区获得性肺炎":{"symptoms":["发热","咳嗽","咳痰","胸痛"],"exams":["血常规: WBC 15×10^9/L","CRP: 86mg/L","胸片: 右下肺斑片状阴影"],"diagnosis":"社区获得性肺炎","treatment":["头孢曲松","阿奇霉素","对症支持","氧疗"],"urgency":"中高"}}defgenerate_single(self,disease:str)->Dict:"""生成单条训练数据"""template=self.DISEASE_TEMPLATES[disease]# 随机选择症状组合selected_symptoms=random.sample(template["symptoms"],k=random.randint(2,len(template["symptoms"])))# 构造 inputpatient_info=f"患者{random.choice(['男性','女性'])}，{random.randint(25,75)}岁，"symptoms_str="、".join(selected_symptoms)exams_str="。".join(template["exams"])input_text=f"{patient_info}主诉{symptoms_str}。{exams_str}。"# 构造 outputtreatment_str="；\n".join(f"{i+1}.{t}"fori,tinenumerate(template["treatment"]))output_text=f"""根据临床表现和检查结果，该患者诊断为**{template['diagnosis']}**。 治疗建议：{treatment_str}紧急程度：{template['urgency']}⚠️ 以上为AI辅助分析，最终诊断和治疗方案需由临床医生确认。"""return{"instruction":f"根据患者的症状和检查结果，给出可能的诊断和治疗建议。","input":input_text,"output":output_text,"system":"你是一位经验丰富的临床医生，请给出专业、准确、负责任的医学建议。回答需包含诊断、治疗方案和紧急程度。"}defgenerate_dataset(self,num_per_disease:int=100)->List[Dict]:"""生成完整数据集"""dataset=[]fordiseaseinself.DISEASE_TEMPLATES:for_inrange(num_per_disease):dataset.append(self.generate_single(disease))random.shuffle(dataset)returndataset# 生成并保存generator=MedicalDataGenerator()dataset=generator.generate_dataset(num_per_disease=50)print(f"生成数据量:{len(dataset)}")withopen("data/medical_sft.json","w",encoding="utf-8")asf:json.dump(dataset,f,ensure_ascii=False,indent=2)# 划分训练/验证集random.shuffle(dataset)split=int(len(dataset)*0.9)train_data=dataset[:split]val_data=dataset[split:]withopen("data/medical_sft_train.json","w",encoding="utf-8")asf:json.dump(train_data,f,ensure_ascii=False,indent=2)withopen("data/medical_sft_val.json","w",encoding="utf-8")asf:json.dump(val_data,f,ensure_ascii=False,indent=2)print(f"训练集:{len(train_data)}, 验证集:{len(val_data)}")

4.3 数据配置

在data/dataset_info.json中注册数据集：

{"medical_sft":{"file_name":"medical_sft_train.json","columns":{"prompt":"instruction","query":"input","response":"output","system":"system"}}}

五、LoRA 微调配置与执行

5.1 LoRA 原理速览

LoRA（Low-Rank Adaptation）通过添加低秩分解矩阵来微调模型，核心公式：

W' = W + ΔW = W + A × B

其中 W ∈ R^(d×d) 是原始权重，A ∈ R^(d×r) 和 B ∈ R^(r×d) 是低秩矩阵（r << d）。

关键参数影响：

5.2 训练配置

创建examples/train_lora/qwen2.5_lora_sft.yaml：

# Qwen2.5-7B LoRA 微调配置model_name_or_path:models/Qwen2.5-7B# 训练模式stage:sftdo_train:truefinetuning_type:lora# LoRA 配置lora_rank:16lora_alpha:32lora_dropout:0.05lora_target:all# 对所有线性层应用 LoRA# 数据集dataset:medical_sfttemplate:qwencutoff_len:4096overwrite_cache:truepreprocessing_num_workers:16# 训练超参output_dir:saves/qwen2.5-7b-lora-medicallogging_steps:10save_steps:100plot_loss:trueper_device_train_batch_size:2gradient_accumulation_steps:8learning_rate:2.0e-4num_train_epochs:3.0lr_scheduler_type:cosinewarmup_ratio:0.1bf16:true# DeepSpeed（可选，单卡训练可删除）# deepspeed: examples/deepspeed/ds_z2_config.json

5.3 启动训练

# 命令行启动llamafactory-cli train examples/train_lora/qwen2.5_lora_sft.yaml# 或使用 Python API

# train.pyfromllamafactory.train.tunerimportrun_expfromllamafactory.hparamsimportget_train_argsdeftrain_medical_model():# 解析配置model_args,data_args,training_args,finetuning_args,generating_args=\ get_train_args({"config_path":"examples/train_lora/qwen2.5_lora_sft.yaml"})# 运行训练run_exp(model_args=model_args,data_args=data_args,training_args=training_args,finetuning_args=finetuning_args,generating_args=generating_args)if__name__=="__main__":train_medical_model()

5.4 训练监控

# 实时查看训练日志tail-fsaves/qwen2.5-7b-lora-medical/trainer_log.jsonl# 启动 TensorBoardtensorboard--logdirsaves/qwen2.5-7b-lora-medical--port6006

典型训练曲线解读：

Step Loss LR Grad Norm 100 2.451 1.8e-4 0.823 200 1.872 1.5e-4 0.654 300 1.543 1.1e-4 0.512 400 1.298 7.2e-5 0.401 500 1.145 3.8e-5 0.335

• Loss < 1.5：模型已经开始学习任务模式
• Loss < 1.0：模型对训练数据有较好拟合
• Loss < 0.8：可能过拟合，需检查验证集效果
• Grad Norm 平稳下降：训练稳定

六、DPO 偏好对齐

SFT 让模型学会回答格式和内容，但回答质量参差不齐。DPO（Direct Preference Optimization）通过偏好数据让模型对齐人类偏好。

6.1 DPO 原理

DPO 的核心损失函数：

L_DPO = -E[log σ(β · (log π_θ(y_w|x) - log π_ref(y_w|x) - log π_θ(y_l|x) + log π_ref(y_l|x)))]

其中 y_w 是优选回答，y_l 是劣选回答，β 控制偏离参考模型的程度。

6.2 DPO 数据格式

[{"instruction":"解释什么是糖尿病","input":"","chosen":"糖尿病是一种以高血糖为特征的代谢性疾病。其核心病理机制是胰岛素分泌不足或胰岛素作用障碍，导致糖代谢紊乱。主要分为1型（自身免疫性β细胞破坏）、2型（胰岛素抵抗为主）和妊娠期糖尿病。长期高血糖可导致心血管疾病、肾病、视网膜病变等并发症。管理要点包括：饮食控制、规律运动、血糖监测和药物/胰岛素治疗。","rejected":"糖尿病就是血糖太高了。主要是因为吃太多糖，或者胰腺不工作了。会让人变瘦、口渴、频繁上厕所。治疗方法就是吃药和打针。","system":"你是一位医学专家，请给出专业、全面、科学的回答。"}]

6.3 DPO 训练配置

# dpo_config.yamlstage:dpodo_train:truefinetuning_type:lora# 从 SFT 的 LoRA 权重开始adapter_name_or_path:saves/qwen2.5-7b-lora-medical/checkpoint-500lora_rank:16lora_alpha:32lora_dropout:0.05lora_target:alldataset:medical_dpotemplate:qwenper_device_train_batch_size:1gradient_accumulation_steps:16learning_rate:5.0e-6# DPO 学习率要远低于 SFTnum_train_epochs:2.0lr_scheduler_type:cosinewarmup_ratio:0.1bf16:true# DPO 特有参数dpo_beta:0.1# 偏离参考模型程度dpo_loss:sigmoid# 损失函数类型

6.4 DPO 效果评估

# evaluate_dpo.pyimporttorchfromtransformersimportAutoModelForCausalLM,AutoTokenizerdefcompare_responses(model,tokenizer,prompt,max_new_tokens=512):"""对比 SFT 和 DPO 模型的回答"""inputs=tokenizer(prompt,return_tensors="pt").to(model.device)withtorch.no_grad():outputs=model.generate(**inputs,max_new_tokens=max_new_tokens,temperature=0.7,do_sample=True,top_p=0.9,repetition_penalty=1.1)response=tokenizer.decode(outputs[0][len(inputs[0]):],skip_special_tokens=True)returnresponse# 测试用例test_cases=["患者出现胸痛应该怎么办？","解释糖化血红蛋白的临床意义","抗生素使用的注意事项有哪些？"]forpromptintest_cases:print(f"\n{'='*60}")print(f"问题:{prompt}")response=compare_responses(model,tokenizer,prompt)print(f"回答:{response[:300]}...")

七、模型合并与导出

7.1 LoRA 权重合并

# 合并 LoRA 权重到基础模型llamafactory-cliexport\--model_name_or_pathmodels/Qwen2.5-7B\--adapter_name_or_pathsaves/qwen2.5-7b-lora-medical/checkpoint-500\--templateqwen\--finetuning_typelora\--export_dirmodels/qwen2.5-7b-medical-merged\--export_size2\--export_devicecpu\--export_legacy_formatfalse

7.2 GGUF 量化导出

# 4-bit 量化导出为 GGUF 格式llamafactory-cliexport\--model_name_or_pathmodels/qwen2.5-7b-medical-merged\--templateqwen\--finetuning_typefull\--export_dirmodels/qwen2.5-7b-medical-gguf\--export_quantization_bit4\--export_quantization_datasetdata/c4_demo.json\--export_size2

八、vLLM 推理部署

vLLM 是目前最快的 LLM 推理引擎之一，核心创新是 PagedAttention。

8.1 部署配置

# 安装 vLLMpipinstallvllm# 启动 OpenAI 兼容 API 服务python-mvllm.entrypoints.openai.api_server\--modelmodels/qwen2.5-7b-medical-merged\--served-model-name medical-qwen\--max-model-len8192\--gpu-memory-utilization0.9\--tensor-parallel-size1\--dtypebfloat16\--port8000

8.2 客户端调用

fromopenaiimportOpenAI client=OpenAI(base_url="http://localhost:8000/v1",api_key="not-needed")response=client.chat.completions.create(model="medical-qwen",messages=[{"role":"system","content":"你是一位经验丰富的临床医生"},{"role":"user","content":"患者男性，55岁，胸痛3小时，心电图显示V1-V4导联ST段抬高。如何处理？"}],temperature=0.1,max_tokens=1024,stream=True)forchunkinresponse:ifchunk.choices[0].delta.content:print(chunk.choices[0].delta.content,end="",flush=True)

8.3 性能基准

九、常见问题与最佳实践

Q1: 训练 Loss 不下降

• 检查学习率：SFT 推荐 1e-4 到 5e-4
• 检查数据质量：数据格式是否正确，输出是否合理
• 尝试增大 warmup_ratio 到 0.1-0.2

Q2: 模型过拟合

• 减小训练轮数（epochs）
• 增加 lora_dropout
• 增加训练数据量或数据多样性
• 使用验证集早停

Q3: 推理输出重复

• 设置repetition_penalty=1.1
• 降低 temperature 到 0.1-0.3
• 检查训练数据中是否有重复模式

最佳实践 Checklist

1. ✅ 训练数据至少 1000+ 条，质量优先于数量
2. ✅ 先跑通单卡 LoRA，再尝试分布式
3. ✅ 验证集评估（loss + 人工抽样）
4. ✅ DPO 数据要确保 chosen 显著优于 rejected
5. ✅ SFT 和 DPO 使用相同的template
6. ✅ 导出前在测试集上完整评估
7. ✅ 生产环境使用 vLLM/SGLang 推理

十、总结

本文从零完成了 Qwen2.5-7B 的全流程微调：

1. 环境搭建：LLaMA-Factory + Flash-Attention
2. 数据构造：医疗领域 Alpaca 格式数据生成
3. LoRA 微调：rank=16，3 epochs，单卡 24GB
4. DPO 对齐：基于 SFT 权重，β=0.1 偏好优化
5. 模型导出：合并 + GGUF 4-bit 量化
6. vLLM 部署：180 tok/s 推理吞吐

这套方案适用于任何垂直领域的大模型定制场景，从医疗、法律到金融、教育，方法通用，效果显著。

参考资源：

• LLaMA-Factory: https://github.com/hiyouga/LLaMA-Factory
• Qwen2.5: https://github.com/QwenLM/Qwen2.5
• vLLM: https://github.com/vllm-project/vllm