手把手教你用ResNet50+FCN搭建ChangeNet变化检测模型（附完整代码）

手把手教你用ResNet50+FCN搭建ChangeNet变化检测模型（附完整代码）

变化检测技术在卫星影像分析、城市发展监测、灾害评估等领域有着广泛的应用价值。想象一下，你手头有两张同一区域不同时间拍摄的卫星图像，如何快速准确地识别出哪些地方发生了变化？这就是ChangeNet要解决的问题。本文将带你从零开始，使用PyTorch框架结合ResNet50和FCN架构，构建一个端到端的变化检测模型。

1. 环境准备与数据预处理

在开始搭建模型前，我们需要配置合适的开发环境。推荐使用Python 3.8+和PyTorch 1.10+版本，这些组合经过验证具有最佳的兼容性。以下是核心依赖库：

pip install torch torchvision opencv-python numpy matplotlib tqdm

变化检测任务的数据集通常由图像对组成，每对图像包含：

• 参考图像（reference image）
• 测试图像（test image）
• 对应的变化标注图（change mask）

一个典型的数据预处理流程包括：

1. 图像配准：确保两张图像在空间上对齐
2. 归一化处理：将像素值缩放到[0,1]范围
3. 数据增强：应用旋转、翻转等操作增加数据多样性

import torchvision.transforms as transforms # 定义数据预处理流程 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ])

注意：当处理高分辨率卫星图像时，建议先将图像裁剪为适当大小的patch（如256×256），这能显著降低显存消耗。

2. 孪生神经网络架构设计

ChangeNet的核心是孪生神经网络结构，它由两个共享权重的ResNet50分支组成。这种设计允许网络从两张输入图像中提取可比的特征表示。

import torch.nn as nn from torchvision.models import resnet50 class SiameseResNet(nn.Module): def __init__(self): super().__init__() # 加载预训练ResNet50 resnet = resnet50(pretrained=True) # 提取前四个卷积块作为特征提取器 self.encoder = nn.Sequential( resnet.conv1, resnet.bn1, resnet.relu, resnet.maxpool, resnet.layer1, resnet.layer2, resnet.layer3, resnet.layer4 ) def forward(self, x1, x2): # 两个分支共享相同的权重 f1 = self.encoder(x1) f2 = self.encoder(x2) return f1, f2

孪生网络的关键优势在于：

• 参数效率：两个分支共享权重，减少模型参数量
• 特征一致性：确保对两张图像使用相同的特征提取标准
• 训练稳定性：预训练权重提供了良好的初始化

3. 多层级特征融合策略

单纯的孪生网络输出可能丢失空间细节信息，ChangeNet通过融合不同层级的特征来解决这个问题。我们采用FCN（全卷积网络）架构来实现多尺度特征融合。

class FeatureFusion(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv1x1 = nn.Conv2d(in_channels, out_channels, kernel_size=1) self.upsample = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=True) def forward(self, *features): # 对每个特征图进行1x1卷积调整通道数 adjusted_features = [self.conv1x1(f) for f in features] # 上采样所有特征图到相同尺寸 max_size = max(f.size()[2:] for f in adjusted_features) upsampled_features = [ nn.functional.interpolate(f, size=max_size, mode='bilinear', align_corners=True) for f in adjusted_features ] # 拼接特征图 fused = torch.cat(upsampled_features, dim=1) return fused

这种融合策略的优势在于：

• 保留了高分辨率的空间细节
• 结合了深层的语义信息
• 通过可学习的卷积层自适应调整特征重要性

4. 变化检测头与损失函数

变化检测任务的输出是一个与输入图像同尺寸的变化概率图。我们使用1×1卷积将融合后的特征映射到目标类别数：

class ChangeDetectionHead(nn.Module): def __init__(self, in_channels, num_classes): super().__init__() self.conv = nn.Conv2d(in_channels, num_classes, kernel_size=1) self.upsample = nn.Upsample(scale_factor=4, mode='bilinear', align_corners=True) def forward(self, x): x = self.conv(x) return self.upsample(x)

对于变化检测任务，二元交叉熵损失（BCE）往往不足以捕捉复杂的变化模式。我们推荐使用组合损失：

def composite_loss(pred, target): # 二元交叉熵损失 bce_loss = nn.BCEWithLogitsLoss()(pred, target) # Dice损失（对类别不平衡问题更鲁棒） pred_sigmoid = torch.sigmoid(pred) intersection = (pred_sigmoid * target).sum() union = pred_sigmoid.sum() + target.sum() dice_loss = 1 - (2. * intersection + 1) / (union + 1) return bce_loss + dice_loss

5. 完整模型集成与训练技巧

现在我们将所有组件集成到完整的ChangeNet模型中：

class ChangeNet(nn.Module): def __init__(self, num_classes=1): super().__init__() self.siamese = SiameseResNet() self.fusion = FeatureFusion(2048*2, 512) # ResNet50最后一层有2048个通道 self.head = ChangeDetectionHead(512, num_classes) def forward(self, img1, img2): f1, f2 = self.siamese(img1, img2) # 计算特征差异（多种方式可选） feature_diff = torch.abs(f1 - f2) fused = self.fusion(feature_diff) return self.head(fused)

训练过程中的几个实用技巧：

1. 学习率调度：使用余弦退火策略

   scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=100)

2. 早停机制：当验证集性能不再提升时停止训练

3. 混合精度训练：减少显存占用，加快训练速度

   from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() with autocast(): outputs = model(inputs) loss = criterion(outputs, targets) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()

6. 模型评估与结果可视化

评估变化检测模型常用的指标包括：

结果可视化对于理解模型行为至关重要。以下代码展示了如何生成变化检测结果图：

def visualize_results(image1, image2, pred_mask, gt_mask=None): plt.figure(figsize=(15, 5)) plt.subplot(1, 4, 1) plt.imshow(image1) plt.title("Reference Image") plt.subplot(1, 4, 2) plt.imshow(image2) plt.title("Test Image") plt.subplot(1, 4, 3) plt.imshow(pred_mask > 0.5, cmap='gray') plt.title("Predicted Changes") if gt_mask is not None: plt.subplot(1, 4, 4) plt.imshow(gt_mask, cmap='gray') plt.title("Ground Truth") plt.show()

7. 常见问题与解决方案

在实际项目中，我们可能会遇到以下典型问题：

问题1：模型对小型变化不敏感

解决方案：

• 增加浅层特征的权重
• 使用注意力机制增强重要区域
• 在损失函数中加入对小目标的惩罚项

问题2：训练过程中出现NaN值

检查步骤：

1. 确认输入数据没有NaN或Inf值
2. 检查学习率是否设置过高
3. 验证损失函数实现是否正确

问题3：显存不足

优化策略：

• 减小批量大小
• 使用梯度累积技术
• 尝试混合精度训练
• 冻结部分骨干网络参数

# 梯度累积示例 accumulation_steps = 4 for i, (inputs, targets) in enumerate(train_loader): outputs = model(inputs) loss = criterion(outputs, targets) loss = loss / accumulation_steps loss.backward() if (i+1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad()

在真实项目中，变化检测模型的性能往往受到数据质量的显著影响。建议在部署前进行充分的数据清洗和标注验证，这通常比模型架构调整带来的提升更明显。