论文分析6：基于特征解耦与形态约束的行人检测
[1]王进,张曦鸣,冯小荣,等.基于特征解耦与形态约束的行人检测[J/OL].计算机工程与设计,1-13[2026-07-13].https://link.cnki.net/urlid/11.1775.tp.20260616.1522.002.
1. 研究目的
Transformer 是非常强大的深度学习模型，但仍面临高密度导致目标漏检、遮挡造成特征信息不足、多尺度变化影响定位精度的挑战。具体而言就是，1. 多尺度变化：行人尺寸差异大，小目标易漏检。2. 严重遮挡：密集人群中特征信息不足。3. 收敛慢与冗余：多尺度特征直接融合带来计算冗余，且传统匈牙利匹配在框重叠时易出错。
故论文中提出了一种基于特征解耦与形态约束的行人检测算法。主要包括三个方面：
（1）主干网络特征解耦：构建基于双向长短期记忆网络（Bi-LSTM）的尺度自适应序列网络，压缩多尺度 特征中的冗余信息，提升模型收敛效率。
（2）Transformer 特征解耦：构建分层编码的多尺度增强Transformer结构，实现 Transformer 层面的特征解耦。采用差异化编码策略，结合变异沙漏网络，提升模型对尺度变化与遮挡目标的鲁棒性。
（3）形态约束匹配：引入形态学相似性系数作为匹配准则。在匈牙利算法的匹配过程中，融入边界框的形状、周长和面积等形态差异信息，以增强对重叠目标的区分能力。
2. DETR
DETR的架构主要由三部分组成：
CNN骨干网络：首先，一个标准的卷积神经网络会处理输入图像，提取出高层次的特征图。这相当于对图像内容进行了一次初步的“理解”。
Transformer编码器-解码器：
编码器：将CNN提取的特征图转换为一组特征向量，并通过自注意力机制来建模图像中不同区域之间的全局上下文关系。这让模型能够“看到”并理解整个画面。此外，这里还会加入位置编码，因为Transformer本身不具备空间概念，需要位置编码来告知模型物体的相对位置。
解码器：这是DETR的核心。它接收一组可学习的“目标查询”。这组查询可以理解为模型预设的N个“空槽位”，每个槽位都期待着去“寻找”并填充一个物体。解码器通过注意力机制，让这些查询与编码器输出的图像特征进行交互，从而为每个查询生成一个对应的预测结果。
预测头：在解码器的输出之上，会添加两个简单的前馈网络：
一个用于预测该查询所对应物体的类别。
另一个用于预测该物体的边界框坐标。
DETR能够直接输出最终结果的关键在于其独特的训练方式。在训练时，它会使用匈牙利算法将模型预测的N个结果与图像中真实的物体进行一对一的二分图匹配。这个机制确保了每个预测框都唯一地对应一个真实物体，从而从根本上避免了产生大量重复的检测框，也就不再需要NMS后处理步骤。
3. 创新点
3.1 创新点1：尺度自适应序列网络（SASN）
Bi-LSTM由两个单向 LSTM层叠加而成，一个正向处理输入序列（从左到右，从上到下），另一个则反向处理（从右到左，从下到上）。这种双向处理机制赋予模型同时捕捉不同尺度下行序列和列序列信息的能力，使得网络能够更全面地理解任意两图像块之间的空间依赖关系，捕捉到比传统单向处理更为丰富和复杂的空间序列信息。
利用 Bi-LSTM 对多尺度特征图块进行序列建模，通过全连接层和 Softmax 生成“尺度索引”，动态筛选最具代表性的特征，丢弃冗余信息。
3.2 创新点2：多尺度增强的Transformer
多尺度增强的Transformer对传统Transformer架构进行了两项关键性的优化。首先，MET引入了多尺度编码机制，旨在有效应对图像中行人目标尺寸不一的问题；其次，设计了特征增强组件，以进一步解决行人遮挡问题。
3.2.1 多尺度编码
传统方法直接拼接多尺度特征，而本文提出差异化编码深度——大尺度目标从编码器底层（第1层）开始编；小尺度目标直接注入编码器高层（第2N/3层）。这有效防止了小目标特征在深层网络中被“冲刷”掉。
3.2.2特征增强
当场景中个体之间相互遮挡，会严重影响检测的效果。Transformer 的注意力机制通常在较低分辨率特征图上计算，导致细粒度局部信息丢失。故引入改良版沙漏网络，保留最低层级的跳跃连接，因为底层含丰富的边缘和空间位置信息，有助于恢复密集行人的排列边界，同时减少冗余计算。
3.3形态学相似系数（MSC）
，面对密集行人检测场景中特有的复杂性，即检测框高度重叠的难题，传统的基于空间距离或交并比的匹配策略显得力不从心，难以精确区分那些在空间位置上紧密相邻但本质上代表不同个体的行人。鉴于此，在匈牙利算法的匹配函数中引入形态学相似性系数。
简单而言，就是引入了长宽差、长宽和、面积差三项加权指标。
4. 实验结论以及实验局限
4.1 实验结论
消融实验：清晰展示了累加效果。MET模块贡献最大（AP从75.9%飙升至87.4%），MSC在此基础上再稳定提升1.8%。
对比实验:用 CrowdHuman 训练，直接在 WiderPerson 上测试（跨域泛化），AP仍达60.5%，远超基线，说明模型没有过拟合单一场景。
4.2 实验局限
计算负担过重：推理时间高达300.2ms（DDQ仅287ms，DETR仅166ms），FLOPs（336G）和参数量（57.6M）均居榜首。堆叠的沙漏模块和Bi-LSTM带来了巨大的显存和算力消耗，难以部署到边缘端或无人机机载端。
“解耦”定义稍显宽泛：论文中的“特征解耦”更偏向于“分尺度独立处理”或“特征筛选”，并非严格数学意义上的独立成分解耦（如把身份特征和姿态特征彻底分离）。