迁移学习实战思路：如何用预训练模型完成文本分类

迁移学习实战思路：如何用预训练模型完成文本分类

从零训练语言模型往往需要大量语料、算力和时间。迁移学习的思路是复用预训练模型已经学到的通用语言表示，只用领域数据完成适配。这不是简单加载一个模型，而是一组围绕数据、训练范围和评估的工程决策。## 1. 预训练与微调的分工预训练模型在大规模通用语料上学习词、句子和上下文之间的规律。面对一个具体分类任务时，通常在其输出后接一个任务头：text文本 -> Tokenizer -> 预训练 Encoder -> 句向量 -> Linear 分类头 -> logits任务头负责把通用表示映射到业务标签。预训练层和任务头是否都训练，取决于数据规模、任务差异和显存预算。## 2. 三种常见训练策略| 策略 | 训练参数 | 适用情况 || — | — | — || Feature Extraction | 只训练分类头 | 数据较少、先做快速基线 || Partial Fine-tuning | 分类头和靠后的若干层 | 需要更多领域适配且资源有限 || Full Fine-tuning | 整个模型 | 数据和算力较充分，任务与通用语料差异较大 |冻结预训练模型不等于永远更好，它换来更低训练成本和更少过拟合风险，也可能限制领域知识的适配能力。实际选择应基于验证集结果，而不是只看训练 loss。## 3. 数据处理中的三个输入以 BERT 类模型为例，Tokenizer 通常生成：-input_ids：token 在词表中的编号。-attention_mask：区分真实 token 与 padding。-token_type_ids：区分句对中的两个片段，单句任务可能全为 0。批处理必须开启 padding 和 truncation，并固定一个合理max_length。长度设置不是越大越好：它影响显存、吞吐和被截断的信息量，应通过样本长度分布和验证集共同确定。## 4. 一个最小分类头下面示例保留预训练模型输出中的[CLS]表示作为句向量，再交给线性层分类：pythonclass TextClassifier(nn.Module): def __init__(self, encoder, hidden_size, num_labels): super().__init__() self.encoder = encoder self.classifier = nn.Linear(hidden_size, num_labels) def forward(self, input_ids, attention_mask, token_type_ids=None): output = self.encoder( input_ids=input_ids, attention_mask=attention_mask, token_type_ids=token_type_ids, ) cls_embedding = output.last_hidden_state[:, 0] return self.classifier(cls_embedding)这只是一个基线。某些模型适合使用 pooler output、平均池化或任务特定的 pooling，不能不加检查地套用[CLS]规则。## 5. 训练与评估不能只看准确率训练循环至少应区分model.train()和model.eval()，验证和预测阶段使用torch.no_grad()关闭梯度计算。多分类或类别不均衡任务中，除 Accuracy 外还应关注 Macro-F1、每类 Precision/Recall 和混淆矩阵。text训练集：更新参数验证集：选择学习率、冻结策略和训练轮数测试集：只在方案确定后做一次最终报告如果把测试集反复用于调参，最终指标会高估真实泛化能力。## 6. 常见问题-显存不足：优先降低 batch size 或 max length，再考虑混合精度与梯度累积。-训练稳定但验证效果差：检查数据泄漏、标签质量和类别分布，不应只继续增加 epoch。-保存后无法在 CPU 加载：加载权重时使用map_location="cpu"，再显式将模型放到目标设备。-Tokenizer 与模型不一致：二者必须来自同一模型版本或兼容配置。## 总结迁移学习的价值在于复用语言表征，但效果取决于是否正确处理输入、冻结范围和评估边界。先得到一个可复现的冻结基线，再用验证集比较部分微调和全量微调，是更稳妥的迭代方式。