当前位置：首页 > news >正文

别再只盯着准确率了！用sklearn的`f1_score`搞定多标签分类的Macro-F1和Micro-F1

news 2026/8/12 0:57:18

别再只盯着准确率了！用sklearn的`f1_score`搞定多标签分类的Macro-F1和Micro-F1

当你第一次用机器学习模型完成多标签分类任务时，是不是兴奋地跑去看准确率？然后发现这个数字好像并不能完全反映模型的好坏？特别是在处理新闻分类、商品打标这类实际项目时，类别不平衡简直是家常便饭。这时候，准确率就像是个戴着滤镜的美颜相机——它只告诉你整体看起来不错，却掩盖了某些类别表现糟糕的事实。

我最近接手了一个客户投诉分类的项目，数据集中"物流问题"类别的样本是"产品质量"类别的10倍。当我兴冲冲地看到85%的准确率时，差点就要交差了。幸好多看了一眼各个类别的表现，发现模型几乎把所有"产品质量"投诉都预测错了——这就是典型的准确率陷阱。于是我开始深入研究sklearn.metrics中的f1_score，特别是它的average参数，这才真正理解了如何全面评估多标签分类模型。

1. 为什么准确率在多标签分类中会骗人？

准确率(Accuracy)的计算公式很简单：预测正确的样本数除以总样本数。在二分类问题中，当正负样本比例接近时，它确实是个不错的指标。但多标签分类中，特别是类别不平衡时，准确率会严重失真。

举个例子，假设我们有个1000条样本的数据集：

类别A：900条
类别B：50条
类别C：50条

如果一个模型把所有样本都预测为类别A，它的准确率是90%！看起来很棒对吧？但实际上它对类别B和C的预测完全失败。这就是为什么我们需要更细致的评估指标。

准确率的三大陷阱：

对少数类不敏感：模型可以靠"多数类霸权"获得高准确率
无法反映分类质量：不同类别的预测质量差异被平均掉了
误导模型优化方向：可能导致开发者忽视真正需要改进的类别

2. F1分数：精准率和召回率的和谐统一

F1分数是精准率(Precision)和召回率(Recall)的调和平均数，公式为：

F1 = 2 * (Precision * Recall) / (Precision + Recall)

这个指标为什么重要？因为它同时考虑了：

精准率：预测为正的样本中，实际为正的比例（"宁缺毋滥"）
召回率：实际为正的样本中，被正确预测的比例（"宁可错杀"）

在sklearn中，计算F1分数非常简单：

from sklearn.metrics import f1_score # y_true是真实标签，y_pred是预测标签 f1 = f1_score(y_true, y_pred, average='binary') # 二分类

但对于多标签分类，事情就变得复杂了。我们需要考虑如何聚合多个类别的F1分数，这就是average参数发挥作用的地方。

3. 多标签分类中的三种F1计算方式

3.1 Macro-F1：平等对待每个类别

Macro-F1计算的是所有类别F1分数的算术平均值。它的特点是：

每个类别的权重相同
对小类别敏感
适合关注所有类别平等表现的场景

计算公式：

Macro-F1 = (F1_class1 + F1_class2 + ... + F1_classN) / N

在sklearn中的使用：

macro_f1 = f1_score(y_true, y_pred, average='macro')

适用场景：

医疗诊断（每个疾病类别都重要）
法律文书分类（每个法律条款都关键）
任何类别重要性相当的情况

3.2 Micro-F1：考虑样本量差异

Micro-F1先汇总所有类别的TP、FP、FN，然后计算整体的F1。它的特点是：

受大类别影响更大
更接近准确率但考虑了类别不平衡
适合样本量差异大的场景

计算公式：

总TP = TP1 + TP2 + ... + TPN 总FP = FP1 + FP2 + ... + FPN 总FN = FN1 + FN2 + ... + FNN Micro-P = 总TP / (总TP + 总FP) Micro-R = 总TP / (总TP + 总FN) Micro-F1 = 2 * (Micro-P * Micro-R) / (Micro-P + Micro-R)

在sklearn中的使用：

micro_f1 = f1_score(y_true, y_pred, average='micro')

适用场景：

电商商品分类（热门品类样本多）
新闻分类（热门话题文章多）
用户画像标签（常见特征用户多）

3.3 Weighted-F1：按样本量加权

Weighted-F1是Macro-F1的加权版本，权重是每个类别的真实样本数。它的特点是：

平衡了大小类别的影响
比Micro-F1更关注小类别
比Macro-F1更反映实际分布

计算公式：

Weighted-F1 = (F1_class1 * w1 + F1_class2 * w2 + ... + F1_classN * wN) / (w1 + w2 + ... + wN) 其中wi是类别i的样本数

在sklearn中的使用：

weighted_f1 = f1_score(y_true, y_pred, average='weighted')

适用场景：

客户投诉分类（常见问题样本多但小众问题也重要）
社交媒体内容审核（常见违规类型多但新型违规也需关注）
任何需要兼顾大小类别的情况

4. 实战：客户投诉分类案例

让我们用一个真实的客户投诉数据集来演示这三种F1分数的计算和解读。假设我们有以下数据：

import numpy as np from sklearn.metrics import f1_score # 真实标签和预测标签 y_true = np.array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, # 类别0有10个样本 1, 1, 1, 1, 1, # 类别1有5个样本 2, 2]) # 类别2有2个样本 y_pred = np.array([0, 0, 0, 0, 0, 0, 0, 0, 1, 1, # 类别0预测正确8个，错误2个 1, 1, 1, 2, 2, # 类别1预测正确3个，错误2个 0, 1]) # 类别2预测正确0个，错误2个

计算三种F1分数：

macro = f1_score(y_true, y_pred, average='macro') micro = f1_score(y_true, y_pred, average='micro') weighted = f1_score(y_true, y_pred, average='weighted') print(f"Macro-F1: {macro:.3f}") print(f"Micro-F1: {micro:.3f}") print(f"Weighted-F1: {weighted:.3f}")

输出结果：

Macro-F1: 0.493 Micro-F1: 0.647 Weighted-F1: 0.622

结果分析：

指标	值	解读
Macro-F1	0.493	各类别平均表现一般，特别是小类别2拉低了分数
Micro-F1	0.647	整体表现较好，因为大类0的正确预测贡献大
Weighted-F1	0.622	介于两者之间，反映了大类的影响但没完全忽略小类

这个案例清晰地展示了：

Macro-F1最低，因为小类别2表现很差
Micro-F1最高，因为大类0表现好
Weighted-F1居中，平衡了大小类别的影响

5. 如何选择适合的F1计算方式？

选择F1计算方式不是技术问题，而是业务问题。下面这个决策树可以帮助你做出选择：

是否所有类别同等重要？ ├── 是 → 使用Macro-F1 └── 否 → 样本量差异是否很大？ ├── 是 → 更关注多数类？ → 是 → 使用Micro-F1 └── 否 → 使用Weighted-F1

实际建议：

先看Macro-F1：了解模型在最差类别上的表现
再看Micro-F1：了解模型在整体数据上的表现
最后看Weighted-F1：作为平衡指标参考
结合业务需求：某些场景下小类别可能更关键

提示：在实际项目中，我通常会同时计算这三种F1分数，再结合混淆矩阵和分类报告，全面评估模型表现。

6. 进阶技巧：多标签分类的特殊考量

真正的多标签分类（一个样本可能属于多个类别）需要更复杂的处理。sklearn的f1_score也支持这种场景：

# 多标签示例 y_true = np.array([[1, 0, 1], [0, 1, 1], [1, 1, 0]]) # 每个样本可能有多个标签 y_pred = np.array([[1, 0, 0], [0, 1, 1], [0, 1, 0]]) # 使用samples平均方式 f1_samples = f1_score(y_true, y_pred, average='samples') print(f"Sample-based F1: {f1_samples:.3f}")

samples平均方式会：

先计算每个样本的F1
再对所有样本取平均

这种方式特别适合：

文本多标签分类（如新闻同时属于政治和经济）
图像多标签识别（一张图片包含多个人物）
任何样本可能属于多个类别的情况

7. 常见陷阱与解决方案

陷阱1：盲目选择average参数

症状：所有项目都用average='macro'或micro'，不考虑业务场景
解决：根据业务需求选择，必要时自定义权重

陷阱2：忽视类别分布

症状：只看F1分数不看各类别表现
解决：配合classification_report查看每个类别的指标

from sklearn.metrics import classification_report print(classification_report(y_true, y_pred))

陷阱3：在交叉验证中错误使用

症状：在交叉验证循环外计算F1
解决：确保在每次验证折叠内计算指标

from sklearn.model_selection import cross_val_score from sklearn.linear_model import LogisticRegression model = LogisticRegression() scores = cross_val_score(model, X, y, scoring='f1_macro') # 使用scoring参数

陷阱4：混淆多类和多标签

症状：把多类问题当多标签处理
解决：明确你的问题是"单选"还是"多选"

注意：多类( multiclass)是每个样本只属于一个类别，多标签(multilabel)是每个样本可能属于多个类别。两者的指标计算方式不同。

8. 性能优化与实用技巧

处理极度不平衡数据：
- 结合class_weight参数
- 使用过采样/欠采样技术
- 尝试分层抽样确保每折分布一致

# 使用类别权重 from sklearn.svm import SVC model = SVC(class_weight='balanced') # 自动按类别频率调整权重

自定义权重：如果不满足于macro/micro/weighted，可以自定义权重：

from sklearn.metrics import fbeta_score # 自定义各类别权重 weights = {0: 1.0, 1: 2.0, 2: 3.0} # 给类别2更高权重 fbeta = fbeta_score(y_true, y_pred, beta=1, average=None) weighted_f1 = np.average(fbeta, weights=list(weights.values()))

早停策略：监控验证集的F1分数而非准确率：

from sklearn.model_selection import train_test_split from sklearn.metrics import f1_score from xgboost import XGBClassifier X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2) model = XGBClassifier() model.fit(X_train, y_train, eval_set=[(X_val, y_val)], eval_metric=f1_score, # 使用F1作为早停指标 early_stopping_rounds=10)

阈值调整：对于概率输出，可以通过调整分类阈值优化F1：

from sklearn.metrics import precision_recall_curve probs = model.predict_proba(X_test)[:, 1] # 正类概率 precision, recall, thresholds = precision_recall_curve(y_test, probs) # 找到最大化F1的阈值 f1_scores = 2 * (precision * recall) / (precision + recall) optimal_threshold = thresholds[np.argmax(f1_scores)]

9. 可视化：理解F1分数的好帮手

绘制各类别的F1分数能直观发现模型弱点：

import matplotlib.pyplot as plt from sklearn.metrics import classification_report import pandas as pd report = classification_report(y_true, y_pred, output_dict=True) df = pd.DataFrame(report).transpose() df[:-3].plot(y=['f1-score'], kind='bar', legend=False) plt.title('F1 Score per Class') plt.ylabel('F1 Score') plt.xticks(rotation=45) plt.tight_layout() plt.show()

这个柱状图能清晰显示：

哪些类别表现好/差
是否需要收集更多某类别的数据
是否需要调整类别权重

10. 超越F1：其他重要指标

虽然F1很重要，但完整的模型评估还需要考虑：

ROC-AUC：
- 适用于概率输出
- 对类别不平衡不敏感
- 提供不同阈值下的全面评估
精确率-召回率曲线：
- 特别关注正类的表现
- 对不平衡数据更有信息量
- 曲线下面积(PR-AUC)是重要指标
Cohen's Kappa：
- 考虑随机猜测的影响
- 对评估者间一致性很有用
- 范围从-1到1，值越高越好
马修斯相关系数(MCC)：
- 适用于所有类别不平衡情况
- 范围从-1到1，0表示随机预测
- 对二分类问题特别有用

from sklearn.metrics import roc_auc_score, average_precision_score, cohen_kappa_score, matthews_corrcoef # 假设我们有预测概率 y_probs = model.predict_proba(X_test)[:, 1] print(f"ROC-AUC: {roc_auc_score(y_test, y_probs):.3f}") print(f"PR-AUC: {average_precision_score(y_test, y_probs):.3f}") print(f"Cohen's Kappa: {cohen_kappa_score(y_test, y_pred):.3f}") print(f"MCC: {matthews_corrcoef(y_test, y_pred):.3f}")

11. 行业最佳实践

根据我在多个行业的实践经验，不同领域对F1的使用有不同偏好：

医疗健康：
- 更关注Macro-F1
- 罕见疾病的检测同样重要
- 假阴性代价通常很高
金融风控：
- 偏好Weighted-F1
- 平衡常见和罕见欺诈模式
- 精确率和召回率需要权衡
电商推荐：
- 常用Micro-F1
- 热门商品预测准确度更重要
- 结合CTR等业务指标
内容审核：
- 多种F1分数结合使用
- 对新型违规内容保持敏感
- 定期重新评估指标合理性

12. 工具与资源推荐

sklearn扩展：
- imbalanced-learn：专门处理不平衡数据
- scikit-plot：提供美观的指标可视化
自动化工具：
- mlflow：跟踪实验指标
- weights & biases：可视化指标变化
实用代码片段：

# 多指标综合计算 from sklearn.metrics import precision_score, recall_score def comprehensive_report(y_true, y_pred): return { 'accuracy': accuracy_score(y_true, y_pred), 'macro_f1': f1_score(y_true, y_pred, average='macro'), 'micro_f1': f1_score(y_true, y_pred, average='micro'), 'weighted_f1': f1_score(y_true, y_pred, average='weighted'), 'macro_precision': precision_score(y_true, y_pred, average='macro'), 'macro_recall': recall_score(y_true, y_pred, average='macro') }

学习资源：
- sklearn官方文档metrics章节
- 《机器学习实战》中关于模型评估的章节
- Kaggle竞赛中优秀kernel的评估方法

13. 从理论到实践：一个完整的工作流

让我们总结一个标准的模型开发评估流程：

数据探索：
- 分析类别分布
- 可视化数据特征
基线模型：
- 建立简单模型作为基准
- 记录各种F1分数
模型迭代：
- 根据F1分数发现问题
- 针对弱类别进行优化
阈值优化：
- 调整分类阈值平衡精确率/召回率
- 选择业务最合适的F1变体
最终评估：
- 在测试集上计算所有相关指标
- 生成分类报告和混淆矩阵
业务验证：
- 将指标转化为业务价值
- 与领域专家讨论结果合理性

# 完整工作流示例 from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split # 1. 准备数据 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=y) # 2. 创建管道 pipe = Pipeline([ ('scaler', StandardScaler()), ('classifier', RandomForestClassifier(class_weight='balanced')) ]) # 3. 训练模型 pipe.fit(X_train, y_train) # 4. 评估模型 y_pred = pipe.predict(X_test) y_probs = pipe.predict_proba(X_test)[:, 1] print(classification_report(y_test, y_pred)) print(f"Macro-F1: {f1_score(y_test, y_pred, average='macro'):.3f}")

14. 当F1不够用时：自定义指标

有时标准F1可能无法完全满足业务需求，这时可以考虑：

特定类别F1：只关注关键类别的F1分数

# 只计算类别1的F1 f1_class1 = f1_score(y_test, y_pred, labels=[1], average='micro')

分层F1：对不同群体分别计算F1，确保公平性

# 对不同用户群体分别计算F1 for group in ['mobile', 'desktop']: mask = X_test['device'] == group print(f"{group} F1: {f1_score(y_test[mask], y_pred[mask], average='weighted'):.3f}")

时间序列F1：监控F1随时间的变化，发现模型衰减

# 按月计算F1趋势 for month in df['month'].unique(): mask = df['month'] == month print(f"{month} F1: {f1_score(y_test[mask], y_pred[mask], average='weighted'):.3f}")