YOLOv12改进策略【卷积层】| arXiv 2025 YOLO-Master中的稀疏混合专家ES-MoE 动态路由提适配 + 稀疏激活降延迟，突破精度-效率权衡

一、本文介绍

本文记录的是利用ES-MoE 模块改进 YOLOv12 的骨干网络特征提取部分。

ES-MoE（Efficient Sparse Mixture-of-Experts）通过多尺度专家组与分阶段动态路由机制结合，实现YOLOv12对不同复杂度场景的自适应计算资源分配。本文利用ES-MoE模块，通过多尺度专家组（不同尺寸深度可分离卷积）捕捉多样化目标特征，再通过动态路由网络（全局池化+轻量化卷积）生成场景依赖的专家激活权重，同时依托负载均衡损失保证专家充分利用，对YOLOv12中复杂场景的密集小目标、遮挡目标特征进行针对性强化，抑制简单场景的冗余计算消耗，在特征提取阶段实现场景适配的精准计算与多尺度特征互补，突破传统静态架构的精度-效率权衡限制，增强模型对复杂真实场景的检测精度与实时推理能力。

专栏目录：YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv12改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

二、ES-MoE介绍

2.1 设计出发点

ES-MoE（Efficient Sparse Mixture-of-Experts）是为解决传统YOLO类实时目标检测器的静态计算冗余问题而提出的稀疏混合专家模块。现有YOLO架构对所有输入场景采用统一的密集计算模式，导致简单场景资源浪费、复杂场景（如密集小目标、遮挡场景）计算不足，难以平衡检测精度与推理速度。ES-MoE引入实例条件自适应计算，通过动态路由机制为不同复杂度的输入分配差异化计算资源，突破传统静态架构的精度-效率权衡限制，同时适配实时检测的轻量化需求。

2.2 模块结构

ES-MoE核心由三大组件构成，实现稀疏自适应计算：

1. 动态路由网络：负责生成输入依赖的路由信号，先通过全局平均池化（GAP）提取输入特征的全局描述符，再经轻量化1×1卷积（含通道压缩）计算专家激活对数，最终输出各专家的权重分布；
2. 多尺度专家组：包含多个独立专家子网络，每个专家采用深度可分离卷积（DWconv）作为核心，配置3×3、5×5、7×7等不同尺寸卷积核，覆盖多样化感受野，适配不同尺度目标与场景复杂度；
3. 分阶段路由策略：训练时采用Soft Top-K策略（激活Top-K专家并保留梯度连续性），推理时切换为Hard Top-K策略（仅激活Top-K专家，K≪专家总数），同时通过负载均衡损失（L_LB）避免专家坍缩，