当前位置：首页 > news >正文

Transformer遥感变化检测项目实战：架构设计与调参经验

news 2026/8/30 2:49:06

简介：变化检测是遥感影像分析中的核心任务，通过对比同一区域不同时相的影像，逐像素识别地表变化。传统方法依赖人工特征与阈值设定，难以应对复杂场景。Transformer凭借自注意力机制带来的全局建模能力，可有效捕捉长距离依赖，解决光照、物候等导致的伪变化问题，在违建监测、灾害评估、农业巡检等场景中展现显著优势。本文围绕基于Swin Transformer的孪生编码器与差分融合解码器架构，从数据组织、网络设计、损失函数到训练策略与后处理，系统梳理了遥感变化检测项目的完整落地路径，并分享了应对类别不平衡、显存溢出、伪变化等工程实践中的关键经验，为相关研究和应用提供参考。变化检测这两年是真的火，尤其是把Transformer架构引进来之后，整个赛道都快被重做了一遍。我在遥感领域做了不少年，从早期像素级差分、CVA那套传统方法一路用到现在的深度学习模型，最大的感受是：变化检测这个任务，模型选型一旦对了，效果提升真的是“肉眼可见”的级别。最近在做一个基于Transformer实现的遥感影像变化检测项目，配套了完整的项目源码，从数据处理到模型训练再到推理出图，一条链路全打通了。这篇文章就把整个项目的核心设计思路、关键模块的实现细节、以及我实际踩过的一些坑都写出来，给正在做遥感变化检测、或者准备复现类似项目的朋友一个参考。

这个项目适合谁来读？如果你是刚接触遥感深度学习的学生，这篇文章能帮你理解Transformer在遥感任务里是怎么落地的；如果你已经在跑语义分割或者变化检测的模型，但被精度卡住了，这篇文章里的调参经验和后处理技巧应该能让你少走不少弯路。我会尽量把每个关键选择背后的“为什么”讲清楚，而不是只给你一堆能跑但不知道为什么的代码。

1. 变化检测任务的核心逻辑与现状

1.1 变化检测到底在解决什么问题

变化检测（Change Detection）这个任务，说白了就是给同一地点、不同时间拍到的两幅影像，逐像素判断“这块地方变没变、变成了什么”。它的应用面非常广：城市违建监测、耕地非农化巡检、灾害损毁评估、森林砍伐追踪，本质上都能抽象成这样一个双时相对比问题。

但真正做起来你会发现，这个任务比普通的语义分割要难一个量级。原因在于，变化检测不是单纯地识别“某个物体是什么”，而是要区分“同一个物体在不同时间的状态差异”。这就引出了两个核心难点：

一是伪变化太多。两期影像如果拍摄时间不同，光照、阴影、物候带来的辐射差异会非常大，同一个屋顶在上午九点和下午三点的像素值可能相差很大，简单的像素级差分会把这些都判定为“变化”。二是类别极度不平衡。真实场景中，真正发生变化的区域往往只占整幅影像的很少一部分，可能连5%都不到，剩下95%以上都是“不变”的背景。这种天然的样本不均衡，会把很多常规分割模型直接“惯坏”——模型只要学会输出全零，损失函数就已经很漂亮了。

传统方法里，影像差分、比值法、变化向量分析（CVA）都是经典方案，但它们的共同痛点是阈值太难定，而且对影像配准和辐射校正的质量极其敏感。后来引入机器学习分类器（比如用SVM对差异特征分类），效果好了不少，但特征表达依然依赖人工设计，泛化能力有限。

1.2 从CNN到Transformer：为什么换架构是必然

语义分割领域之前的主流是CNN家族——U-Net、DeepLabV3、PSPNet等等。CNN依靠卷积核堆叠来扩大感受野，但在处理变化检测这种任务时，它有个天然短板：卷积核的感受野始终是局部的，要建模两个时空位置上长距离的依赖关系，往往需要非常深的网络或者膨胀卷积来补偿，而且效果依然有限。

变化检测对“全局上下文”的需求比普通分割更强烈。举个最典型的例子：一片农田从播种期到成熟期，颜色和纹理变化非常大，如果只看局部像素，几乎肯定会判成“变化”。但如果你能看到整幅影像的结构——周围大片农田都是类似状态，道路和建筑的分布完全没变，你就会判断“这只是季节性的地表变化，不是真正的土地覆盖转变”。这种“放眼全局做推理”的能力，恰恰是Transformer的看家本领。

Transformer的核心是自注意力机制（Self-Attention），它让特征图上的每个位置都能直接和全图其他位置计算关联权重。可以这样理解：CNN是一个只能看到周围一小块区域的巡逻员，而Transformer是一个站在高处能纵览全局的总指挥。遥感影像这种大尺寸、地物复杂、上下文相关的数据，Transformer的全局建模能力优势非常明显。

1.3 Transformer落地遥感变化检测的几种主流路线

目前用Transformer做遥感变化检测，技术路线大致能分成三类：

第一类是孪生Transformer编码器 + 差分融合解码器。这是最常见、也是我个人最推荐起步的方案。用两个共享权重的Transformer分支分别提取前后期影像的特征，然后对两组特征做差分、拼接等融合操作，再送入解码器逐级恢复分辨率。ChangeFormer就是这类架构的代表。

第二类是Swin Transformer做骨干 + FPN解码器。Swin Transformer通过窗口注意力机制在保持全局建模能力的同时控制了计算量，很适合深层次的特征提取，再配合特征金字塔结构做多尺度融合，在精度和计算成本之间取得较好平衡。

第三类是时间序列Transformer。把变化检测看成时序分类问题，对影像序列做时间维度的注意力建模。这种方案更适合多时相遥感影像分析，但在标准的双时相变化检测上有点“杀鸡用牛刀”。

在我们的项目里，采用的是“孪生Swin Transformer编码器 + 多尺度差分特征解码器”的组合方案。选Swin而不是原生Vision Transformer，主要是为了控制显存开销——遥感影像动辄上万像素，原生ViT的全局注意力在训练时显存直接爆炸，Swin的窗口注意力策略在效率和性能之间找到了一个很好的折中。

2. 项目结构与工程化设计思路

2.1 从源码包看到的项目目录结构

拿到这个项目的源码包，第一件事先看目录结构，不要急着跑main.py。一个规范的深度学习项目，目录结构本身就透露了作者的工程习惯。我这里给一个整理后的典型结构，基本反映了这个项目的模块划分：

change_detection_transformer/ ├── data/ │ ├── train/ │ ├── val/ │ └── test/ ├── datasets/ │ ├── __init__.py │ └── change_dataset.py ├── models/ │ ├── __init__.py │ ├── encoder.py │ ├── decoder.py │ └── changeformer.py ├── utils/ │ ├── metrics.py │ ├── losses.py │ ├── postprocess.py │ └── logger.py ├── configs/ │ └── train_config.yaml ├── checkpoints/ ├── train.py ├── predict.py └── requirements.txt

这里面的核心模块各司其职：datasets/负责读取双时相影像和标签，做数据增强和切片；models/存放网络结构；utils/放损失函数、评估指标和后处理工具；configs/统一管理超参数；train.py和predict.py是训练和推理入口。

提示：在这个项目里，checkpoints/目录默认是空的，因为源码包通常不放训练好的权重文件。你需要自己下载预训练权重或者从头开始训练。文件大小通常在几百MB到GB级，注意查看README里给的下载链接。

2.2 模型主体架构：孪生编码器与差分解码器

这个项目的模型设计思路非常清晰，整体结构可以分为四个阶段：

**第一阶段是双时相输入组织。**反正前期影像和后期影像分别输入到两个结构相同、权重共享的编码器中。权重共享这个设计非常关键，它能保证两期影像经过同一个特征提取器处理时，特征分布是一致的，不会被编码器本身带入“时间偏差”。如果不共享权重，等于让网络同时学两套特征提取逻辑，模型复杂度翻倍而且很难收敛。

**第二阶段是编码器特征提取。**本项目采用的编码器是基于Swin Transformer搭建的，包含4个Stage，输出4个不同分辨率的特征图。从底层到高层，分辨率逐级降低，通道数逐级增加，语义信息逐渐增强，空间细节逐渐丢失。这组特征金字塔后面会被解码器逐级利用。

**第三阶段是差异特征融合。**这是变化检测的核心环节。对于同一尺度上的前后期特征，项目采用“拼接 + 差分”的组合方式：

diff_feat = concat([feat_a, feat_b, feat_a - feat_b], dim=1)

这里为什么不单用差分特征呢？我实际测试过，单独差分会丢失大量原始语义信息，尤其是当变化很细微时，差分后的信号非常弱。拼接三个特征能让解码器既看到“差异”又看到“原始语义”，相当于给分类器提供了更充分的证据链。

**第四阶段是解码器恢复。**差异特征通过逐级上采样和跨尺度拼接，逐步恢复到输入分辨率。每个解码器层级会有一次特征融合操作，将上一级的高层语义特征与当前级的低层细节特征相加。最后经过一个1×1卷积和一个二分类头输出变化概率图。

整个结构用一句话概括：两分支共享权重编码器提取特征，差分融合捕捉变化信号，金字塔解码器恢复空间细节。这个设计兼顾了全局语义和空间细节，是当前精度与推理效率比较平衡的经典组合。

2.3 训练策略：从冻结预训练到渐进解冻

模型结构搭好了，训练策略直接决定最终的精度上限。这个项目里的一个关键做法是：初始阶段冻结Swin骨干，只训练解码器。

为什么这么做？因为人工设计的变化检测数据集比较小，常见的公开集如LEVIR-CD也就一万多对样本，从头训练一个大模型很容易过拟合。而Swin骨干在ImageNet或更大的遥感数据集上预训练过，已经学会了通用的特征表达。如果一开始就让全部参数参与更新，预训练权重很容易被小数据集上的噪声梯度破坏掉，导致特征提取能力大幅下降。

具体做法是：前20个epoch冻结编码器，只让解码器和分类头更新；之后每10个epoch解冻一个Stage，从Stage4开始逐步解冻，直到整个网络完全参与训练。这种方式类似于“课程学习”——先让模型学会从固定特征中做判断，再逐步释放编码器的自适应能力去贴合变化检测任务。

配合这个训练策略，有几个超参数需要特别注意。学习率：编码器用3e-5，解码器用1e-4，两套学习率分别配置优化器参数组。优化器：我推荐AdamW，配合权重衰减1e-5，比SGD收敛更平稳。批次大小：在单卡24GB显存条件下，输入patch为256×256时，batch size可以设为8左右。学习率调度：使用余弦退火，配合5个epoch的warmup。

这些参数不是随便定的。初始学习率如果太大，预训练权重很快被破坏；太小则解码器收敛极慢。warmup阶段让学习率从0慢慢升到目标值，可以避免训练初期梯度的大幅震荡，这个在Transformer类模型上尤其重要。

3. 核心实现细节与关键代码解析

3.1 数据组织与Dataset类实现

变化检测的数据组织，核心是“一对影像 + 一张标签”。以LEVIR-CD这类公开数据集为例，它的目录结构通常是这样：

A/ # 前期影像 train_1.png train_2.png B/ # 后期影像 train_1.png train_2.png label/ # 变化标签，0=不变，1=变化 train_1.png train_2.png

在change_dataset.py里，Dataset类的核心逻辑是根据索引同时加载三张图。落地时需要注意两个细节：

第一是配对一致性。A、B、label三个文件的索引必须严格对齐，任何一张图读取失败或错位，都会导致模型学到完全错误的关系。我习惯在Dataset里显式校验文件名是否匹配，宁可启动时多花几秒，也不要训练到一半才发现配对错了。

第二是样本切分。遥感影像往往是大尺寸的GeoTIFF，比如1024×1024甚至更大，直接整图送入模型显存不够，标准做法是做滑动窗口裁剪。裁剪时要控制边界，窗口最好重叠一部分，避免把地物从中间切断。我们项目里patch size设为256×256，重叠64个像素。

核心代码骨架如下：

import torch from torch.utils.data import Dataset from PIL import Image import numpy as np import os class ChangeDetectionDataset(Dataset): def __init__(self, root_dir, patch_size=256, stride=192, transform=None): self.root_dir = root_dir self.patch_size = patch_size self.stride = stride self.transform = transform self.pairs = self._load_pairs() self.patches = self._generate_patches() def _load_pairs(self): # 读取 A/ B/ label/ 下所有文件名，校验对齐 img_a_dir = os.path.join(self.root_dir, "A") img_b_dir = os.path.join(self.root_dir, "B") label_dir = os.path.join(self.root_dir, "label") names = sorted(os.listdir(label_dir)) pairs = [] for name in names: a_path = os.path.join(img_a_dir, name) b_path = os.path.join(img_b_dir, name) label_path = os.path.join(label_dir, name) if not (os.path.exists(a_path) and os.path.exists(b_path)): print(f"[Warning] Missing files for {name}") continue pairs.append((a_path, b_path, label_path)) return pairs def _generate_patches(self): patches = [] for idx in range(len(self.pairs)): with Image.open(self.pairs[idx][0]) as img: w, h = img.size for y in range(0, h - self.patch_size + 1, self.stride): for x in range(0, w - self.patch_size + 1, self.stride): patches.append((idx, x, y)) return patches def __len__(self): return len(self.patches) def __getitem__(self, index): pair_idx, x, y = self.patches[index] a_path, b_path, label_path = self.pairs[pair_idx] img_a = Image.open(a_path).crop((x, y, x + self.patch_size, y + self.patch_size)) img_b = Image.open(b_path).crop((x, y, x + self.patch_size, y + self.patch_size)) label = Image.open(label_path).crop((x, y, x + self.patch_size, y + self.patch_size)) img_a = np.array(img_a, dtype=np.float32) / 255.0 img_b = np.array(img_b, dtype=np.float32) / 255.0 label = np.array(label, dtype=np.int64) # 标签二值化，有些公开数据集的标签不是严格的0/1 label = (label > 0).astype(np.int64) if self.transform: img_a, img_b, label = self.transform(img_a, img_b, label) # 转成CHW格式 img_a = torch.from_numpy(img_a).permute(2, 0, 1).float() img_b = torch.from_numpy(img_b).permute(2, 0, 1).float() label = torch.from_numpy(label).long() return img_a, img_b, label

这段代码有几个容易被忽视的点。stride小于patch_size时会产生重叠切片，重叠区域可以缓解边界信息丢失问题，但也会增加样本间的空间相关性。训练时用随机裁剪替代固定网格更好，给模型更多数据变化；推理时则用固定网格加上重叠，防止漏检。

另一个坑是标签文件虽然视觉上只有黑和白，但实际的像素值不一定是0和1，可能是0和255。所以__getitem__里我加了(label > 0).astype(np.int64)这一步，把标签强行归一到0/1。这个细节如果不处理，损失函数算出来全是NaN或者Loss异常。

3.2 网络核心结构代码级拆解

在models/changeformer.py里，网络主体按“编码器 - 差分融合 - 解码器”三个部分组织。这里给一个精简可运行的核心结构示例：

import torch import torch.nn as nn import torch.nn.functional as F class DualStreamEncoder(nn.Module): def __init__(self, backbone): super().__init__() # 共享权重的Swin Transformer骨干 self.backbone = backbone def forward(self, x): # 返回多尺度特征列表，例如4个层级的特征 feats = self.backbone(x) return feats class DifferenceFusion(nn.Module): def __init__(self, in_channels): super().__init__() # 拼接后通道数 = in_channels*3 self.conv = nn.Sequential( nn.Conv2d(in_channels * 3, in_channels, kernel_size=1, padding=0), nn.BatchNorm2d(in_channels), nn.ReLU(inplace=True) ) def forward(self, feat_a, feat_b): diff = feat_a - feat_b fused = torch.cat([feat_a, feat_b, diff], dim=1) return self.conv(fused) class ChangeFormer(nn.Module): def __init__(self, encoder, decoder_dims): super().__init__() self.encoder = encoder self.fusions = nn.ModuleList([ DifferenceFusion(dim) for dim in decoder_dims ]) # decoder_dims例如 [128, 256, 512, 1024] self.decoder_convs = nn.ModuleList() for i in range(len(decoder_dims) - 1): self.decoder_convs.append( nn.Sequential( nn.Conv2d(decoder_dims[i] + decoder_dims[i+1], decoder_dims[i], kernel_size=3, padding=1), nn.BatchNorm2d(decoder_dims[i]), nn.ReLU(inplace=True) ) ) self.final_head = nn.Conv2d(decoder_dims[0], 2, kernel_size=1) def forward(self, img_a, img_b): feats_a = self.encoder(img_a) # 多尺度 feats_b = self.encoder(img_b) # 多尺度 fused_feats = [] for i, (fa, fb) in enumerate(zip(feats_a, feats_b)): fused_feats.append(self.fusions[i](fa, fb)) # 从最深到最浅逐级上采样融合 x = fused_feats[-1] for i in range(len(fused_feats) - 2, -1, -1): x = F.interpolate(x, size=fused_feats[i].shape[-2:], mode='bilinear', align_corners=False) x = torch.cat([x, fused_feats[i]], dim=1) x = self.decoder_convs[i](x) logits = self.final_head(x) return logits

这段结构有三个关键点需要深入理解：

权重共享：self.encoder在依次处理img_a和img_b时使用的是同一套参数。在PyTorch里，只要encoder是同一个module实例，两次前向传播天然共享权重，不需要额外操作。这比定义两个Encoder然后手动拷贝权重要优雅得多。

多尺度融合顺序：解码器是从最深层（分辨率最低、语义最强）开始，逐步向浅层上采样。每次上采样后，与当前层的融合特征做通道拼接，再经过一个3×3卷积降维、融合信息。这样做能保证高层语义信息逐步“注入”到底层特征，恢复空间细节的同时保持分类能力。

输出通道数：final_head输出2个通道，对应“不变/变化”两类。如果想做多类变化检测，比如区分“新增建筑/植被减少/水体变化”等，只需要把这个输出通道数改成类别数，同时调整损失函数。后面我会讲多类变化检测的扩展思路。

3.3 损失函数与评估指标的选择

变化检测像素级别的类别极不平衡，最常用的损失函数是Dice Loss和二元交叉熵（BCE）的组合。Dice Loss在医学分割中表现很好，核心优势是对类别不平衡不敏感——它直接优化Dice系数，而不是逐像素的交叉熵。

本项目的实现如下：

class CombinedLoss(nn.Module): def __init__(self, dice_weight=0.5, bce_weight=0.5): super().__init__() self.dice_weight = dice_weight self.bce_weight = bce_weight self.bce = nn.BCEWithLogitsLoss() def forward(self, logits, targets): # logits: [B, 2, H, W], targets: [B, H, W] (0/1) b, _, h, w = logits.shape change_logits = logits[:, 1, :, :] # 变化类 targets = targets.float() bce_loss = self.bce(change_logits, targets) # Dice Loss probs = torch.sigmoid(change_logits) smooth = 1e-6 intersection = (probs * targets).sum() dice_loss = 1 - (2.0 * intersection + smooth) / ( probs.sum() + targets.sum() + smooth ) return self.dice_weight * dice_loss + self.bce_weight * bce_loss

Dice Loss的数学本质是1 - Dice系数，Dice系数衡量两个集合的重叠比例。变化区域占比小，但Dice Loss对前景和背景的贡献是均衡的，不会像BCE那样被大量背景像素主导。实际项目中，两个损失各取0.5权重，效果比较稳。

评估指标上，变化检测领域最常用的是这五个：OA（总体精度）、F1分数、IoU（交并比）、Kappa系数、Precision/Recall。其中F1和Kappa是最核心的。这里解释一下为什么不能只看OA——如果变化区域只占影像的5%，那么模型把整幅图都预测为“不变”，OA也能达到95%，但这个模型毫无用处。F1同时考虑查准率和查全率，能更全面地衡量模型对少数类（变化类）的识别能力。

def calculate_metrics(pred, target): # 注意 pred 是0/1预测结果, target 是0/1标签 intersection = ((pred == 1) & (target == 1)).sum().float() union = ((pred == 1) | (target == 1)).sum().float() iou = intersection / (union + 1e-6) tp = ((pred == 1) & (target == 1)).sum().float() fp = ((pred == 1) & (target == 0)).sum().float() fn = ((pred == 0) & (target == 1)).sum().float() tn = ((pred == 0) & (target == 0)).sum().float() precision = tp / (tp + fp + 1e-6) recall = tp / (tp + fn + 1e-6) f1 = 2 * precision * recall / (precision + recall + 1e-6) oa = (tp + tn) / (tp + tn + fp + fn) # Kappa系数 pe = ((tp + fp) * (tp + fn) + (fn + tn) * (fp + tn)) / ((tp + tn + fp + fn) ** 2) kappa = (oa - pe) / (1 - pe + 1e-6) return {"IoU": iou, "F1": f1, "OA": oa, "Kappa": kappa, "Precision": precision, "Recall": recall}

我的经验是，模型调参时重点盯F1和IoU，不要只看OA。OA在很多场景下会骗人，尤其是变化区域极小的数据上，OA波动可能很小，但F1和IoU能敏感地反映模型对变化区域的识别改善情况。

4. 训练与调参阶段的避坑记录

4.1 超参数配置建议与实践经验

训练Transformer类模型和训练CNN的感觉完全不同，我第一轮训练时就用CNN时代的经验去套，结果踩了不少坑。这里把做得比较顺的超参数配置整理一下：

超参数	推荐值	说明
优化器	AdamW	比Adam更稳定，配合weight decay
初始学习率（解码器）	1e-4	解码器从头训练，可以稍大
初始学习率（编码器）	3e-5	预训练权重微调，必须小
权重衰减	1e-5	防止过拟合
Batch Size	8（24GB显存）	受显存限制，太大会导致OOM
Epoch数	60-100	配合早停，看验证集F1
Warmup Epochs	5	避免初始梯度震荡
学习率调度	余弦退火	收敛更平滑
混合精度	开启	显存省一半，速度提升明显

学习率的选择上，我踩过一个典型的坑。有一次我图省事，编码器解码器统一用1e-4训练，到第10个epoch时验证集F1一直在0.5左右徘徊，后来才发现编码器的Swin骨干在预训练权重上被大幅调整，已经失去了原有的特征表达能力。把编码器学习率降到3e-5之后，F1很快就上到0.75以上。

Batch size也是个大坑。Transformer的注意力机制和BatchNorm对batch size比较敏感，batch太小的话，BatchNorm的统计量不稳定。如果有条件，batch size尽量不低于4。如果显存实在不够，可以用梯度累积来模拟更大的batch，比如batch=2、累积4步，相当于batch=8的效果。

4.2 数据增强与类别不平衡的处理

变化检测的数据增强需要特别小心，因为增强操作必须同时作用在两期影像和标签上，保证三者的空间变换一致。本项目里的增强包括：随机水平翻转、随机垂直翻转、随机旋转90度、随机亮度对比度微调、随机裁剪。其中随机亮度和对比度微调只作用在影像上，不作用于标签，但要注意两期影像要使用相同的参数，否则会引入虚假的辐射差异。

还有一个进阶技巧是CutMix——随机从一张图中裁剪一块区域，粘贴到另一张图上，对应的标签也要做同样的替换。这种强增强能迫使模型关注更多样化的特征，对提升泛化能力有帮助。不过CutMix在变化检测上要慎重，因为胡乱混合两期影像可能产生物理上不合理的场景。

类别不平衡的处理，除了用Dice Loss外，还可以在数据层面加一个技巧：变化像素加权采样。具体做法是给每个样本打一个“变化比例”标签，写一个自定义的BatchSampler，让每个batch里的样本变化区域比例尽量均衡，避免某些batch全是背景样本，某些batch全是变化密集样本。

4.3 推理与后处理技巧

训练结束后，推理阶段的处理精度直接决定最终成果图的质量。这一步经常被新手忽略，但往往能带来几个百分点的F1提升。

推理时的第一步是使用滑窗预测。对于大尺寸影像，按照训练时的patch size滑动裁剪，逐patch预测后再拼接回整幅图。重叠区域建议取平均值而不是硬投票，能减少拼接痕迹。

第二步是多尺度测试（TTA）。对同一patch做多尺度缩放（比如0.8、1.0、1.2倍）和多方向翻转（上下、左右、旋转90度），预测结果取平均。这样能显著提升预测的稳定性，代价是推理时间翻几倍，适合对精度要求高但对时间不敏感的场景。

第三步是后处理滤波。原始预测图往往会有“盐-胡椒”噪声——一些零星孤立的像素被识别为变化。对于变化检测来说，真实的地表变化通常具有空间连续性，孤立小图斑很可能是噪声。我项目里的后处理流程是：先对概率图用一个小尺寸的中值滤波去噪，再用阈值0.5二值化，最后用形态学开运算剔除面积过小的连通域。

import cv2 import numpy as np def postprocess(prob_map, area_threshold=50, kernel_size=3): # prob_map: HxW 经过sigmoid后的概率图 # 1. 中值滤波去噪 filtered = cv2.medianBlur((prob_map * 255).astype(np.uint8), kernel_size) # 2. 二值化 binary = (filtered > 127).astype(np.uint8) # 3. 形态学开运算去孤立点 kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) opened = cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) # 4. 面积滤波：小于阈值的连通域剔除 num_labels, labels, stats, _ = cv2.connectedComponentsWithStats(opened, connectivity=8) for i in range(1, num_labels): if stats[i, cv2.CC_STAT_AREA] < area_threshold: opened[labels == i] = 0 return opened

面积阈值的设定需要结合影像分辨率来考虑。比如0.5米分辨率的影像，一个像素代表0.25平方米，面积阈值设为50像素相当于剔除小于12.5平方米的碎斑。这个阈值要根据实际业务需求调整，如果是监测违建，可能需要更大的面积阈值来聚焦重要变化。

5. 常见问题与排查技巧实录

5.1 训练时显存溢出（OOM）

Transformer类模型显存占用确实比CNN高一个档次。最常见的原因有三个：输入patch太大、batch size太大、开启了不必要的梯度记录。

排查步骤建议先降低batch size，如果降到1还溢出，就得检查输入分辨率了。比如patch从256×256降到224×224，显存占用几乎是平方级下降。另外，要确认模型是否开启了梯度checkpointing——Swin Transformer和ViT都支持这个机制，用计算换显存，可以在几乎不影响精度的情况下省下一半显存。

项目里的具体做法是开启torch.cuda.amp混合精度训练。混合精度能同时降低显存占用和加快训练速度，在A100、V100这类支持Tensor Core的GPU上收益尤其明显。如果跑在旧卡上，收益会小一些。

5.2 模型不收敛或收敛极慢

如果训练了十几个epoch，损失函数还在高位徘徊，F1几乎没动，问题多半出在以下几点。

第一个可能是标签和影像没对齐。我遇到过一种情况，印象非常深刻：训练的损失始终降不下去，验证集F1只有0.2左右。排查了一整天，最后发现是推理脚本里读取的标签和训练脚本里的不是同一份文件，后处理里翻转操作没同步到标签上，导致标签是旋转前的坐标，信息完全错位。

第二个可能是学习率设置不合理。学习率太大，损失震荡甚至发散；学习率太小，收敛极慢。Transformer类模型的初始学习率普遍要比CNN低一个数量级。另外一定要有warmup阶段，从0开始线性增加到目标学习率，否则注意力机制初始阶段非常不稳定。

第三个可能是预训练权重没有正确加载。Swin的权重有relative_position_index这类参数，加载时容易被忽略或者加载失败。检查方式很简单：加载后打印几个层的参数值，对比一下随机初始化的参数和加载后的参数是否有明显差异。

5.3 预测图出现大量伪变化和椒盐噪声

这是一个在变化检测中非常常见的现象：预测结果像撒了盐一样，到处是细碎的变化点，没有连成区域。这通常是模型对“变化”过于敏感，把辐射差异也当成了真实变化。

除了前面提到的后处理滤波外，还可以从两个方向改进：一是加强两期影像的辐射归一化。如果两期影像的直方图分布差异过大，模型很难区分“真实变化”和“辐射差异”，建议在数据预处理阶段做直方图匹配或者辐射校正。一种简单有效的做法是分别统计两期影像在R、G、B三个通道上的均值和标准差，做一个简单的Z-score标准化，让两期影像的像素分布在统计上更接近。

二是模型层面尝试“对比学习式的特征约束”。训练时额外加一项损失，让两期影像的相同区域（标签不变的区域）在特征空间中距离拉近，不同区域（标签变化的区域）距离拉远。这样能强制网络学习到“辐射不变、结构敏感”的特征，对抑制伪变化很有帮助。

5.4 训练集指标很高，验证集指标很低

这种典型的过拟合现象，在变化检测项目里经常出现，但原因往往不仅仅是模型复杂度太高。我更常遇到的场景是训练集和验证集空间分布重叠。

遥感影像存在很强的空间自相关性——同一景影像上的相邻区域，地物类型高度相似。如果在划分数据时没有控制影像的“块”归属，只是随机把像素划进训练或验证，那么验证集里会含有训练集附近区域的相似样本，指标虚高；一旦实际部署到新影像上，精度立刻崩盘。

正确的划分方法是：以影像为单位划分。比如一景完整的大影像切成若干patch后，同一景大影像的所有patch要么全部进训练集，要么全部进验证集，不能让同一景影像的数据同时出现在两端。这样能保证验证集的空间独立性，评估结果更可信。

6. 从跑通项目到真实落地：扩展思路

6.1 从二分类扩展到多类变化检测

项目源码默认输出的是“变/不变”二分类结果，但在很多实际业务中，用户更关心的是“变了什么”。比如土地监测部门想知道新增的建筑在哪、被破坏的植被在哪、水面面积是否缩小，这需要模型能够区分变化的类型。

从二分类扩展成多类变化检测，需要改动的主要有三处。第一是数据标签格式，将原来0/1的二值标签改成0表示不变、1/2/3...表示不同类型的变化。第二是模型输出通道数，把最后分类头的输出通道数从2改成类别数。第三是损失函数，Dice Loss需要改成多类的变体——每个类别单独计算Dice系数再取平均，或者用加权交叉熵。

这里的难点在于数据标注。多类变化检测的公开数据集很少，大多数场景需要自己标注。我的建议是先跑通二分类基线，确实验证模型效果之后再考虑数据扩展，不要一上来就啃多类的大骨头。

6.2 结合大模型和点云数据的融合方向

Transformer的强势表现让变化检测的边界也在不断扩展。目前业界比较热的方向之一是把双时相的光学影像和LiDAR点云数据做跨模态融合。因为纯光学影像在云雨天气下获取困难，而SAR和LiDAR数据能穿透云雾，两者的融合可以显著提升变化检测的稳定性。这个方向对Transformer来说可谓量身定做——不同模态的数据通过注意力机制交互，天然适合跨模态融合。

另一个值得注意的方向是Swin Transformer改进版的替换。如果对计算资源比较宽容，可以尝试用Swin v2、CSWin这类的改进模型替换骨干，有时能在不增加太多计算量的前提下再涨1-2个点的F1。我的习惯是每次换骨干都用同样的数据、同样的超参数跑一遍消融对比，用实验表说话，而不是凭感觉选择。