当前位置：首页 > news >正文

多示例学习 (MIL) 实战指南：从理论到代码复现

news 2026/7/16 10:42:38

1. 多示例学习基础概念

第一次接触多示例学习（MIL）时，很多人会被"包"和"实例"的概念绕晕。其实可以把它想象成快递包裹：每个包裹（包）里有若干商品（实例），快递单上只标注了整个包裹的类型（比如"电子产品"），但不会告诉你里面具体哪个商品属于这个类别。这就是MIL的核心特点——我们只有包级别的标签，没有实例级别的标签。

传统监督学习和MIL的区别很明显。假设我们要判断X光片是否显示肿瘤：

监督学习需要医生标注每处可疑区域（实例级标签）
MIL只需要知道整张片子是否有肿瘤（包级标签），大大降低了标注成本

MIL的标准假设（Standard MIL Assumption）是这样定义的：

正包：至少包含一个正实例
负包：所有实例均为负实例这个假设最早由Dietterich在1997年提出，用于药物分子活性预测。后来衍生出更复杂的假设，比如：
集体假设（Collective Assumption）：包的标签由所有实例共同决定
存在假设（Presence-Based）：特定模式实例的出现决定包标签

2. 核心方法与技术演进

2.1 传统MIL方法

早期的MIL方法主要分为三大流派：

基于实例的方法就像侦探破案，先找出每个线索（实例）的价值，再综合判断。典型算法如：

MI-SVM：通过迭代调整实例标签
EM-DD：在特征空间寻找"概念点"

# MI-SVM的简化实现示例 from sklearn.svm import SVC def mi_svm(bags, labels, max_iter=10): # 初始化：将所有正包中的实例视为正例 instances = [inst for bag in bags for inst in bag] pseudo_labels = [1 if any(labels[i] for i, b in enumerate(bags) if inst in b) else -1 for inst in instances] for _ in range(max_iter): clf = SVC(kernel='rbf').fit(instances, pseudo_labels) # 调整标签：只保留正包中最可能为正的实例 new_labels = [] for bag in bags: scores = clf.decision_function(bag) if any(labels[i] for i, b in enumerate(bags) if bag is b): new_labels.extend([1 if score == max(scores) else -1 for score in scores]) else: new_labels.extend([-1]*len(bag)) pseudo_labels = new_labels return clf

基于包的方法则把整个包当作一个整体来分析。比如：

MILES：将包映射到实例特征空间
基于Hausdorff距离的方法：测量包之间的相似度

2.2 深度MIL方法

随着深度学习的兴起，MIL也进入了新时代。注意力机制成为关键突破点：

# 注意力MIL的PyTorch实现关键部分 import torch import torch.nn as nn class AttentionMIL(nn.Module): def __init__(self, input_dim): super().__init__() self.L = nn.Linear(input_dim, 128) # 特征变换 self.A = nn.Parameter(torch.randn(128, 1)) # 注意力机制 def forward(self, x): H = torch.relu(self.L(x)) # (n_instances, 128) A = torch.softmax(torch.matmul(H, self.A), dim=0) # (n_instances, 1) M = torch.mm(A.T, H) # (1, 128) return M, A

现代MIL框架通常包含：

实例编码器（如ResNet）
注意力聚合层
分类/回归头

2023年出现的Transformer-MIL将自注意力引入包表示学习，在病理图像分析中实现了SOTA效果。实验表明，相比传统方法，深度MIL在MNIST-bags数据集上可将准确率从82%提升到95%+。

3. 实战代码复现

3.1 数据准备

MIL领域常用数据集包括：

MNIST-bags：合成数据，便于调试
MUSK1/2：经典药物活性数据集
CAMELYON16：乳腺癌淋巴结转移检测

from torch.utils.data import Dataset import numpy as np class MILDataset(Dataset): def __init__(self, n_bags=100, mean_bag_size=10): self.bags = [] self.labels = [] for _ in range(n_bags): bag_size = np.random.randint(mean_bag_size-5, mean_bag_size+5) # 生成正包：至少包含一个正实例 if np.random.rand() > 0.5: self.bags.append(np.random.randn(bag_size, 2) + [1, 1]) self.labels.append(1) # 生成负包：全部为负实例 else: self.bags.append(np.random.randn(bag_size, 2)) self.labels.append(0) def __len__(self): return len(self.labels) def __getitem__(self, idx): return torch.FloatTensor(self.bags[idx]), torch.tensor(self.labels[idx])

3.2 模型训练技巧

在复现论文代码时，这几个坑我踩过多次：

注意力分数归一化要用softmax而非sigmoid
学习率设置比常规CNN要小（建议1e-4起步）
正负样本不平衡时可采用加权交叉熵

def train_epoch(model, loader, optimizer, device): model.train() total_loss = 0 for data, label in loader: data, label = data.to(device), label.to(device) optimizer.zero_grad() # 处理变长包 instances = data.view(-1, data.size(-1)) bag_feat, _ = model(instances) loss = F.cross_entropy(bag_feat, label) loss.backward() optimizer.step() total_loss += loss.item() return total_loss / len(loader)