Phi-4-mini-reasoning模型微调指南：领域适配实战

Phi-4-mini-reasoning模型微调指南：领域适配实战

如果你正在寻找一个既轻量又强大的推理模型，Phi-4-mini-reasoning绝对值得关注。这个只有3.8B参数的小模型，在数学推理和逻辑分析任务上表现出了惊人的能力，甚至能媲美一些大得多的模型。

但最让人兴奋的是，你可以通过微调让这个模型适应你的特定领域——无论是医疗诊断、法律分析还是金融推理。今天我就来手把手教你如何完成这个过程，让你也能拥有一个专属的领域专家模型。

1. 理解Phi-4-mini-reasoning的微调特点

Phi-4-mini-reasoning是个专门为多步推理任务设计的模型，它在数学问题求解、逻辑推理等需要深度思考的场景下表现优异。微调这个模型的关键在于保持它的推理能力，同时让它掌握特定领域的知识。

这个模型有几个特点需要特别注意：它使用特殊的对话格式，推理过程会分成"思考"和"解答"两个部分；它对数据质量非常敏感；而且由于参数较少，微调时需要更精细的参数调整。

2. 准备微调数据

数据准备是微调成功的关键。对于推理类模型，我们需要准备包含完整推理过程的数据，而不仅仅是问题和答案。

2.1 数据格式要求

Phi-4-mini-reasoning使用特定的对话格式。每个样本应该包含系统提示、用户问题和助手的完整推理过程：

{ "conversations": [ { "role": "system", "content": "你是一个医疗诊断专家，需要详细分析症状并提供推理过程。" }, { "role": "user", "content": "患者出现发热、咳嗽、胸痛症状，可能是什么疾病？" }, { "role": "assistant", "content": "<think>\n1. 分析症状：发热、咳嗽、胸痛是呼吸道感染的常见症状\n2. 考虑可能性：肺炎、支气管炎、肺结核等\n3. 评估严重程度：需要更多信息判断...</think>\n根据症状分析，可能为社区获得性肺炎，建议进行胸部X光检查确诊。" } ] }

2.2 领域数据收集示例

以医疗领域为例，你可以这样准备数据：

# 医疗诊断数据示例 medical_data = [ { "input": "患者体温38.5°C，咳嗽有黄痰，呼吸急促", "output": "<think>\n1. 症状分析：发热、咳嗽有黄痰提示细菌感染\n2. 呼吸急促可能表明下呼吸道受累\n3. 鉴别诊断：肺炎、急性支气管炎\n</think>\n建议进行血常规和胸部X光检查，疑似细菌性肺炎" }, { "input": "糖尿病患者空腹血糖15mmol/L，多饮多尿", "output": "<think>\n1. 血糖值明显高于正常范围\n2. 症状符合高血糖表现\n3. 需要调整降糖方案\n</think>\n建议立即就医调整胰岛素用量，当前血糖控制不佳" } ]

3. 配置训练环境

我推荐使用Unsloth进行微调，它对Phi系列模型有很好的优化支持。

3.1 安装必要的库

pip install unsloth transformers datasets accelerate

3.2 准备训练脚本

from unsloth import FastLanguageModel import torch from transformers import TrainingArguments # 加载模型 model, tokenizer = FastLanguageModel.from_pretrained( model_name = "unsloth/Phi-4-mini-reasoning", max_seq_length = 4096, load_in_4bit = True, ) # 添加LoRA适配器 model = FastLanguageModel.get_peft_model( model, r = 16, lora_alpha = 32, target_modules = ["q_proj", "k_proj", "v_proj", "o_proj"], lora_dropout = 0.1, )

4. 设置训练参数

微调推理模型需要特别注意学习率和训练步数的设置。

training_args = TrainingArguments( output_dir = "./phi4-medical-finetune", per_device_train_batch_size = 2, gradient_accumulation_steps = 4, learning_rate = 2e-5, num_train_epochs = 3, logging_steps = 10, save_steps = 500, fp16 = not torch.cuda.is_bf16_supported(), bf16 = torch.cuda.is_bf16_supported(), optim = "adamw_8bit", weight_decay = 0.01, lr_scheduler_type = "cosine", seed = 3407, report_to = [], )

5. 开始微调训练

现在我们可以开始训练了。这里需要注意的是数据处理的方式：

from transformers import Trainer def format_conversation(example): # 格式化对话数据 text = "<|system|>\n" + example["system"] + "<|end|>\n" text += "<|user|>\n" + example["user"] + "<|end|>\n" text += "<|assistant|>\n" + example["assistant"] + "<|end|>" return {"text": text} # 应用格式化和tokenization def preprocess_function(examples): texts = [format_conversation(ex) for ex in examples] return tokenizer(texts["text"], truncation=True, max_length=4096) # 创建trainer trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets, data_collator=lambda data: {'input_ids': torch.stack([d[0] for d in data]), 'attention_mask': torch.stack([d[1] for d in data]), 'labels': torch.stack([d[0] for d in data])} ) # 开始训练 trainer.train()

6. 评估微调效果

训练完成后，我们需要评估模型在领域任务上的表现。

6.1 创建评估数据集

test_cases = [ { "input": "患者咳嗽两周，夜间加重，无发热，可能的诊断是什么？", "expected": "慢性支气管炎或咳嗽变异性哮喘" }, { "input": "心电图显示ST段抬高，最可能的心血管急症是什么？", "expected": "急性心肌梗死" } ]

6.2 自动化评估脚本

def evaluate_model(test_cases, model, tokenizer): results = [] for case in test_cases: input_text = format_conversation({ "system": "你是一个医疗诊断专家", "user": case["input"], "assistant": "" }) inputs = tokenizer(input_text, return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_length=512) response = tokenizer.decode(outputs[0], skip_special_tokens=True) results.append({ "input": case["input"], "expected": case["expected"], "actual": response, "match": case["expected"].lower() in response.lower() }) accuracy = sum([1 for r in results if r["match"]]) / len(results) return accuracy, results

7. 实际应用案例

7.1 医疗诊断助手

微调后的模型可以这样使用：

def medical_diagnosis_assistant(symptoms): prompt = f"""<|system|> 你是一个经验丰富的医疗诊断专家，需要详细分析症状并提供专业的推理过程。 <|end|> <|user|> 患者症状：{symptoms} 请分析可能的原因和建议的检查。 <|end|> <|assistant|> """ inputs = tokenizer(prompt, return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_length=1024, temperature=0.7) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response.split("<|assistant|>")[-1].strip()

7.2 法律条文分析

对于法律领域的微调，数据准备可以这样：

legal_training_data = [ { "input": "《合同法》第52条规定的合同无效情形有哪些？", "output": "<think>\n1. 回顾合同法第52条内容\n2. 分析五种无效情形：欺诈、胁迫、恶意串通等\n3. 解释每种情形的法律要件\n</think>\n合同法第52条规定了五种合同无效情形，包括：一方以欺诈、胁迫手段订立合同损害国家利益；恶意串通损害他人利益等。" } ]

8. 优化建议和注意事项

在实际微调过程中，我总结了一些经验：

数据质量比数量更重要：100个高质量的训练样本胜过1000个低质量样本。确保每个样本都包含完整的推理过程。

小心过拟合：由于Phi-4-mini-reasoning参数较少，容易过拟合。建议使用早停机制，并在验证集上监控性能。

保持推理能力：在微调过程中，要确保模型不会丢失原有的推理能力。可以在训练数据中混合一些通用推理问题。

批量大小要合适：由于模型的内存需求，批量大小不宜过大。建议从较小的批量开始，逐步增加。

9. 总结

微调Phi-4-mini-reasoning其实没有想象中那么复杂，关键是要理解这个模型的特点和准备好高质量的数据。通过今天的分享，你应该已经掌握了从数据准备到训练评估的完整流程。

实际做下来，我觉得最重要的就是数据质量——好的训练数据能让小模型发挥出大模型的水平。另外就是要耐心调整参数，找到最适合你任务的学习率和训练步数。

如果你刚开始接触模型微调，建议先从一个小数据集开始，熟悉整个流程后再扩展到更大的项目。过程中遇到问题很正常，多试几次就能找到感觉了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。