YOLO系列算法改进 | 主干改进篇 | 替换EdgeViT边缘视觉Transformer网络 | 增强模型全局感知与多粒度特征融合，在小目标检测中保持轻量化与高精度 | ECCV 2022

0. 前言

本文介绍了EdgeViT边缘视觉Transformer网络，并将其集成到ultralytics最新发布的YOLO26目标检测算法中，替换原有Backbone网络。EdgeViT的创新在于将标准自注意力重新思考为局部-全局-局部的信息流动过程，通过稀疏采样代表token和卷积操作的高效集成，首次使轻量级视觉Transformer在移动设备上的精度-效率权衡能够与最优秀的轻量级CNN竞争。将其作为YOLO的backbone，将使目标检测在保持移动端实时性的同时，获得接近大模型的全局上下文理解能力，特别适合需要在资源受限设备上运行、同时面临复杂光照、密集遮挡和小目标检测挑战的应用场景。

专栏链接：YOLO系列算法改进专栏链接

专栏文章：YOLO26改进系列 | 卷积篇、轻量化、注意力、损失函数、Backbone、SPPF、C2PSA、Neck、检测头全方面保姆级优化合集 | 同样适配YOLOv11改进！！！

目录

0. 前言

1. EdgeViT网络简介

2. EdgeViT网络原理与创新点

🧠 EdgeViT网络基本原理

🎯 EdgeViT网络创新点

3. 具体改进步骤

🍀🍀步骤1：创建EdgeViT.py文件

🍀🍀步骤2：tasks.py文件修改

⚡1. EdgeViT网络导入

⚡2. EdgeViT网络注册

⚡3. 其他修改1（Ctrl+F搜索定位一下）

⚡4. 其他修改2（Ctrl+F搜索定位一下）

⚡5. 其他修改3（_predict_once函数修改）

🍀🍀步骤3：创建YAML配置文件

🍀🍀步骤4：新建train.py文件训练模型

🍀🍀步骤5：模型结构打印结果

1. EdgeViT网络简介

基于自注意力的模型（如视觉Transformer）在计算机视觉领域已成为卷积神经网络极具竞争力的架构替代方案。尽管出现了越来越多识别精度更高的变体，但由于自注意力的二次复杂度，现有视觉Transformer通常对计算量和模型尺寸要求较高。虽然先前CNN的几个成功设计选择（如卷积和分层多级结构）已被重新引入到最近的视觉Transformer中，但它们仍然不足以满足移动设备的有限资源需求。这促使了最近基于最先进的MobileNet-v2开发轻量级视觉Transformer的尝试，但仍存在性能差距。在这项工作中，我们沿着这个研究不足的方向进一步推进，引入了EdgeViTs，这是一个新的轻量级视觉Transformer家族，首次使基于注意力的视觉模型能够在精度和端侧效率之间与最好的轻量级CNN竞争。这是通过引入一个基于自注意力和卷积最优集成的高性价比局部-全局-局部信息交换瓶颈实现的。对于设备专用评估，我们不依赖像FLOPs或参数量这样的不准确代理指标，而是采用直接关注端侧延迟和能量效率的实用方法，这在同类研究中尚属首次。在图像分类、目标检测和语义分割上的大量实验验证了我们的EdgeViTs在移动硬件上的精度-效率权衡方面，与最先进的轻量级CNN和视觉Transformer相比具有高效率。具体来说，我们展示了我们的模型在考虑精度-延迟和精度-能量权衡时是帕累托最优的，在几乎所有情况