当前位置：首页 > news >正文

（论文速读）Salience DETR：采用分层显著过滤精化增强检测变换

news 2026/7/18 4:27:42

论文题目：Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement（采用分层显著过滤精化增强检测变换）

会议：CVPR 2024

摘要：类DETR方法以端到端的方式显著提高了检测性能。它们的主流两阶段框架执行密集的自我注意，并选择一小部分查询进行稀疏交叉注意，这被证明是有效的，但也引入了沉重的计算负担和对稳定查询选择的高度依赖。本文证明了在两阶段初始化中，次优的两阶段选择策略由于选择的查询和对象之间的不匹配而导致规模偏差和冗余。为了解决这些问题，我们提出了分层显著过滤精化算法，它只对过滤后的判别性查询执行变换编码，以在计算效率和精度之间取得更好的平衡。该过滤过程通过一种新的独立于尺度的显著监督来克服尺度偏差。为了弥补查询之间的语义不一致，我们引入了精心设计的查询求精模块，以实现稳定的两阶段初始化。在上述改进的基础上，建议的显著DETR在三个具有挑战性的特定任务检测数据集上实现了+4.0%的AP、+0.2%的AP和+4.4%的AP，并且在COCO 2017上实现了49.2%的AP和更少的失败。
代码可在https://github.com/xiuqhou/Salience-DETR.上获得

Salience DETR：用分层显著性过滤精化解决 DETR 的冗余与尺度偏差问题

一、背景：两阶段 DETR 的瓶颈

自 DETR 问世以来，Transformer-based 端到端检测器已成为目标检测领域的重要范式。以 DINO、Deformable DETR、Focus DETR 为代表的主流高性能变体普遍采用两阶段流水线：编码器对所有 token 执行密集自注意力，再从中选取一部分 query 送入解码器做稀疏交叉注意力。这一设计虽然有效提升了检测精度，却也带来了两个严重的内生问题。

1.1 两类冗余

编码冗余：图像背景 token 贡献的特征判别性远低于前景，对背景 token 执行自注意力不但消耗大量计算，还会引入无关噪声，干扰前景特征学习。

选择冗余：现有两阶段选择策略在 query 选择上存在明显的"多而不精"问题。作者在 DINO 上做了一组预消融实验：

【配表】论文 Table 1：DINO 在 MSSD 数据集上关于两阶段 query 数量的预消融结果。300→600→900 queries，AP 从 49.0 持续上升到 51.0，说明即使 query 数量已远超实际目标数，检测性能仍能受益于更多 query，暗示大量 query 并未与真实目标一一匹配。

这组数据揭示了一个反直觉的现象：如果两阶段选择真正做到了与目标一一对应，增加多余的 query 就不应该再有帮助。但实验结果恰恰相反——这意味着选出的 query 中存在大量"冗余选择"，真正匹配目标的 query 比例并不高。

1.2 尺度偏差问题

现有的 query 过滤方法（如 Focus DETR、Sparse DETR）使用离散的 0/1 标签区分前景/背景，或依据目标尺度将 query 分配至对应的特征层级。这两种方式都对大尺度目标存在天然偏好：大目标覆盖更多像素格点，会有更多 query 落在其感受野内并被赋予高置信度；而小目标则因覆盖区域稀少，极易在竞争中被过滤掉。

【配图】论文 Figure 1：对两阶段初始化中 selected queries 的可视化。无论选取 Top-100、300 还是 900 个 query，结果都清晰展示了两个问题：（1）对大目标的 scale bias——大尺寸目标周围的 query 密集，小目标周围稀少；（2）背景 query 和对称 query 的冗余，即使采用一对一匈牙利匹配也无法彻底避免。

1.3 查询语义不对齐

分层过滤机制对不同层级的 token 使用不同的过滤比例，导致被选中参与注意力计算的 query 和被保持不变的 query 之间产生语义偏差。这种不对齐会损害两阶段初始化的稳定性，进而影响解码器的检测精度。

二、Salience DETR 整体框架

针对上述问题，本文提出Salience DETR，核心思想是：用分层显著性过滤精化（Hierarchical Salience Filtering Refinement）替代现有的粗粒度过滤机制，在计算效率和检测精度之间取得更优的平衡。

整体框架在标准两阶段 DETR 管线基础上，引入三个层次的改进：

尺度无关的显著性监督（3.1节）：解决尺度偏差问题；
分层查询过滤（3.2节）：解决编码冗余问题；
三个查询精化模块（3.3节）：解决选择冗余与语义不对齐问题。

【配图】论文 Figure 2：Salience DETR 整体架构图。展示了显著性监督模块（3.1）指导编码器内分层过滤（3.2）的流程，以及编码器输出后接背景嵌入、跨层级 token 融合、冗余去除三个精化模块（3.3），最终将精化后的 query 送入解码器。

三、核心创新模块详解

3.1 尺度无关的显著性监督

这是 Salience DETR 解决尺度偏差的核心机制。不同于 Focus DETR 等方法使用离散 0/1 标签，本文为每个 query 构建连续的显著性置信度作为监督目标。

对于第 l 层特征图上位置 (i,j) 的 query，其对应原图坐标，显著性置信度定义为：

其中与目标中心的相对距离 d 定义为：

、是 query 坐标与目标框中心的偏差，w、h 是目标框的宽高。这样，越靠近目标中心的 query 置信度越高（最高为 1），越靠近边界越低（接近 0）。

这一设计的关键优势在于：置信度仅由 query 到目标中心的归一化相对距离决定，与目标的绝对尺寸无关。对于一个小目标，其中心附近的 query 同样能获得接近 1 的高置信度，而不会因为目标小、覆盖像素少就被过滤掉。

【配图】论文 Figure 3：尺度无关显著性监督（上）与离散前景-背景监督（下）的对比示意图。上方方案中，显著性置信度从目标中心向边界平滑衰减；下方离散方案中所有前景 query 均赋值 1，导致大目标覆盖更多高置信度格点，天然占据优势。该图直观展示了为何尺度无关监督能对小尺寸目标更公平。

损失函数采用 focal loss 形式：

其中，，为真实显著性置信度，为预测值。

3.2 分层查询过滤

在尺度无关显著性监督的指导下，Salience DETR 实施双维度分层过滤：同时在编码器层维度（layer-wise）和特征层级维度（level-wise）进行精细化过滤。

具体地，引入两组过滤比：（对应 T 个编码器层）和（对应 L 个特征层级）。在第 t 个编码器层、第 l 个特征层级上，只有置信度排在前比例的 query 参与注意力更新，其余 query 保持不变：

这里的层级过滤比体现了一个朴素但重要的洞察：高层级特征图分辨率低，token 数少，语义更丰富，可以保留更多参与注意力；低层级特征图分辨率高，token 数多，计算量大，应更积极地过滤。这与多尺度特征的内在特性高度契合。

在计算效率方面，使用 deformable attention 时，编码计算量从原始的降低为，实际参与计算的 query 数量仅为原来的。

3.3 三个查询精化模块

分层过滤有效降低了编码冗余，但也带来了新问题：被选中参与注意力的 query 与未被选中的 query 在语义上产生了分化。为此，本文在编码器输出到解码器输入之间引入三个精化模块。

（1）背景嵌入（Background Embedding）

对于未被选中参与注意力计算的 query，其语义信息相对滞后。论文通过为其添加自学习的绝对位置嵌入来弥补这一差距。具体做法是学习行嵌入和列嵌入，通过外积插值到对应特征图尺寸后，与 token 特征相加：

论文对比了相对嵌入和绝对嵌入两种变体（见 Table 8），绝对嵌入的效果略优（AP 55.2 vs 55.0），原因是 query 过滤在像素级别进行，绝对位置信息能直接补偿位置相关特征。

（2）跨层级 Token 融合（Cross-Level Token Fusion）

由于不同层级的过滤比例不同，各层级 token 之间产生了语义不对齐。本文提出基于路径聚合结构的跨层级融合模块，利用提出的 RepVGGPluXBlock 对相邻层级 token 进行信息交互。

【配图】论文 Figure 4：跨层级 token 融合模块结构图，展示了 RepVGGPluXBlock 的 Main 分支（GCNorm + 门控 FC）和 Residual 分支的并行设计，以及相邻层级 token 通过 Upsample + Concat 进行融合的方式。

对于相邻的低分辨率 token和高分辨率 token，融合计算如下：

最终通过残差连接输出：

（3）冗余去除（Redundancy Removal）

对于相似目标（尤其是小尺寸目标），两阶段选择策略容易选出大量重复 query，导致解码器初始化不稳定。作者采用简洁有效的方案：对每个被选中的 query 构造一个以其位置为中心、边长固定的虚拟边界框，然后在图像级别和层级级别分别执行 NMS，去除高度重叠的冗余 query。

【配图】论文 Figure 5：引入冗余去除前后的收敛曲线对比图（AP@50:95 和 AP@50 随训练 epoch 的变化）。加入冗余去除后，训练初期的 AP 显著更高，收敛速度明显加快，最终 AP 提升 +0.7%，AP50 提升 +0.4%。

四、实验结果

4.1 数据集概况

本文在三个任务特定数据集和一个通用基准上进行评估：

【配表】论文 Table 2：四个数据集的统计信息。ESD 是电子扫描缺陷数据集（图像分辨率 3620×3700，平均 12.22 个目标/图）；CSD 是铸件表面缺陷数据集（1024×1024，平均 10.67 个目标/图）；MSSD 是作者自建的移动屏幕表面缺陷数据集（5120×5120 超高分辨率，平均 87.40 个目标/图，大量小尺寸弱目标）；COCO 2017 是通用检测基准（80类，118287 张训练图）。

4.2 ESD 数据集对比结果

【配表】论文 Table 3：ESD 数据集定量对比结果，与 Faster RCNN、YOLOX、DINO、Focus DETR 等方法全面比较。

在 ESD 上，Salience DETR 以AP 46.5%超越全部对比方法，成为唯一 AP75 超过 40% 的方法（41.4%，比第二名高 1.8%）。在 ARS 指标上达到 34.0%，远高于第二名 Focus DETR 的 21.9%，体现出对小尺寸缺陷目标的显著优势。

4.3 CSD 数据集对比结果

【配表】论文 Table 4：CSD 数据集定量对比结果。该数据集缺乏大尺寸目标，对 DETR 类方法挑战性较高。

CSD 数据集因缺乏适合 DETR 检测的大尺寸目标而更具挑战性。Salience DETR 以AP 53.2%（+0.2%）和AR 66.5%（+0.2%）综合领先于最新的 DINO（53.0%）和 H-Def-DETR（53.0%）。ARS 达到 65.7%，优于所有对比方法。

4.4 MSSD 数据集对比结果（核心战场）

MSSD 是本文最能体现方法优势的数据集——高分辨率（5120×5120）、大量小尺寸弱目标、低对比度，平均每图包含 87.40 个目标实例，对判别性 query 选择要求极高。

【配表】论文 Table 5：MSSD 数据集定量对比结果，Salience DETR 全面领先所有对比方法。

Salience DETR 在 MSSD 上取得了全面突破：

AP 55.4%，比基线 DINO（51.0%）提升+4.4%，比 Focus DETR（49.2%）提升+6.2%；
AP75 61.9%，比第二名高出惊人的9.4%，精确定位能力大幅领先；
APS 28.7%，比 DINO 的 20.0% 提升+8.7%，小目标检测精度显著改善；
ARS 33.0%，比 DINO 的 23.9% 提升+9.1%，小目标召回率同样大幅提升。

这些数字充分说明，尺度无关的显著性监督和分层过滤机制对于充满小尺寸弱目标的工业场景检测有着实质性的改进效果。

4.5 COCO 2017 通用基准

【配表】论文 Table 9：COCO val2017 上与多种 DETR 变体的定量对比，重点关注 AP 和 FLOPs 的权衡。

Salience DETR 在 COCO 2017 val 上达到49.2% AP，优于同等设置（ResNet50 骨干、12 epoch）下的 DINO（49.0% AP），而 FLOPs 仅为201G，不足 DINO（291G）的70%。这证明了 Salience DETR 在通用检测场景下也具备良好的泛化能力，且计算效率明显更优。

4.6 消融实验

【配表】论文 Table 6：在 CSD 数据集上的完整消融实验，逐步验证 HQF（分层查询过滤）、BE（背景嵌入）、RR（冗余去除）、CTF（跨层级 token 融合）四个组件的有效性。

消融实验在 CSD 数据集（ResNet50 骨干）上系统验证了各组件的贡献：

基线（无任何改进）：AP 50.2%，FLOPs 132G；
+ HQF（分层查询过滤）：AP 提升至 52.0%（+1.8%），FLOPs 升至 168G——计算量增加来自需要预测显著性置信度的额外分支，但显著性过滤在编码器内部带来了更多的信息量增益；
+ HQF + BE（背景嵌入）：AP 52.0%，AP75 从 54.2% 提升至 49.9%，FLOPs 不变（168G）——背景嵌入不增加推理计算量；
+ HQF + RR（冗余去除）：AP 52.6%（+0.6%），FLOPs 168G——冗余去除显著改善了两阶段初始化；
+ HQF + BE + RR：AP 52.8%，FLOPs 168G；
+ 全部四组件：AP53.2%，FLOPs 201G——跨层级 token 融合贡献了额外 +0.4% AP，代价是 FLOPs 增加约 33G。

尺度无关监督的消融验证也十分有力（Table 7，MSSD 数据集）：

【配表】论文 Table 7：尺度无关显著性监督与 Focus DETR 的重叠区间（Overlap Limit）监督的对比。尺度无关方案在 AP（55.0 vs 53.2）、AP75（61.9 vs 60.3）、APM（40.7 vs 39.4）、APL（44.1 vs 43.7）上全面领先，验证了其对尺度偏差的有效纠正。

4.7 可视化分析

【配图】论文 Figure 6：显著性置信度在 MSSD、CSD 和 COCO 2017 多尺度特征图上的可视化。图中展示了一个有趣发现：显著性标签仅基于边界框标注构建，但网络预测的显著性置信度能进一步与目标的粗轮廓对齐，暗示显著性监督可能对像素级任务（如实例分割）也有潜在价值。

【配图】论文 Figure 7：MSSD 数据集上 Salience DETR 的检测结果可视化，展示了对小尺寸目标（针孔 pinhole）、难以区分轮廓的目标（锡灰 tin-ash）、类内差异显著的目标（划痕 scratch）以及清晰目标（气泡 bubble）的检测效果，类别置信度普遍在 0.85 以上。

4.8 推理成本分析

【配表】论文 Table 10：推理时间与内存消耗对比。Salience DETR 不含 CTF 的快速版本（Salience DETR*）在 AP 52.8% 的情况下推理时间仅 0.0769s，低于 H-Def-DETR（0.0834s）、DINO（0.0860s）和 Focus DETR（0.0822s），参数量（46M）与对比方法相当，内存占用（209MB）也在合理范围内。完整版本（含 CTF）以 56.1M 参数和 249MB 内存，在 AP 上取得最优。