当前位置: 首页 > news >正文

AAAI 2026 | 蚂蚁虽小也能搬山:西南科大提出 AIDFusion 让轻量融合网络不再 “躺平”

学术速递 | AAAI 2026 Accepted Papers For Image Fusion @ 请选出你心中的最佳论文!(点击跳转阅读)本文为 AAAI 2026 图像融合方向中,最受读者欢迎论文投票排名第二名,共计 28 票占比为 28.28%。


导读

红外和可见光图像融合的目的就是将红外图中的明显目标以及可见光图中的纹理细节合并到一幅图像里来。

现有的方法一般都依靠更加复杂化的网络结构来提高性能,但是本文认为:网络越大,并不意味着学习得越充分。在训练到中期以后的时候,大部分模块的权重更新速度就会变得很慢了,有的还会停止下来,作者把这种情况叫做网络懒人

本文提出AIDFusion,不再单纯堆叠复杂网络,而是通过动态抑制网络惰性,让轻量模型也能充分发挥融合能力。

一句话理解:AIDFusion 的核心不是把网络做大,而是让轻量网络真正“动起来、学起来、用起来”。


核心信息

论文题目Revisiting Network Inertia: Dynamic Inertia Inhibition Coupled Multidimensional Periodicity for Infrared and Visible Image Fusion | 重审网络惯性:动态惯性抑制耦合多维周期性用于红外与可见光图像融合

作者Yufeng Chen、Yuan Sun、Hao Pan、Xujian Zhao、Jian Dai、Zhenwen Ren**、Xingfeng Li**

单位西南科技大学、四川大学和西南自动化研究所

代码https://github.com/YufengChen1113/AIDFusion

发表AAAI 2026

关键词红外和可见光融合、轻量化的网络结构、网络的惰性、多维度特征融合以及傅里叶卷积


01 问题:轻量级网络弱,复杂的网络也会变得“懒惰”

如图1 所示的网络惰性现象

轻量网络计算量小,但是表达能力差;复杂的网络表达能力强,但是会带来大量的参数和计算量,在训练过程中后期会出现权重更新速度减慢的情况。

即有很多网络虽然在训练中但是实际上已经处于“惰性状态”,所以模型的潜力没有得到充分挖掘。

关键矛盾

图像融合除了要有一个好的网络之外,在训练的过程中还要不断地进行有效的学习。

图2 设计意图以及性能对比

左边两种情况分别是:普通的轻量级网络参数少、计算低但是表达能力差;复杂的网络虽然强一些,但是参数和计算量都很大,在训练过程中容易出现“网络惰性”。本文的方法用到了DIILS和MMFM来使轻量网络里的每个模块一直有效地进行学习,这就相当于蚂蚁虽然少但是很努力。

右边的雷达图表示,在MSRS数据集上AIDFusion的综合指标更优,并且参数数量、GFLOPs和显存占用也较小,说明了在性能和效率之间有一个更好的平衡。


02 DIILS:使网络在后期阶段仍然可以进行学习

图3 AIDFusion 整体结构

为了减小网络延迟的影响,本文提出了动态惯性抑制学习方法

一般的方法只是对最后的结果进行监督,在AIDFusion中加入了在各个解码层之后的预测分支,使每一层都可以参与到监督当中来。

但是多层监督不能一开始就全部加入进来,否则会使得训练变得不稳定。所以本文采取了渐进的方式,在前面阶段进行正常的训练,在后面阶段逐渐增加更多的层次监督。

一句话理解:DIILS就是当网络快要“躺平”时候,逐步给在各个层次上加入监督,并把它们再激活起来。


MMFM:低预算实现多种方式融合

图4 MMFM模块结构

只让网络继续学习是不够的,还要加强轻量网络的特征融合能力。

本文提出MMFM 多维调制融合模块,主要包括:

MPSA 多角度稀疏注意:同时用H-W、H-C、W-C三种方式来建立模型,并且捕捉到更加完整空间和通道的关系。

MSRT 多尺度循环Transformer:用较小的计算开销来获取不同尺度上的特征,并且加强了红外和可见光之间相互补充的信息。

一句话理解:MMFM 并不是简单的把两种模态拼接在一起,在轻量化的前提下使网络能够从多方面去理解这两种图像应该如何融合。


04 FAConv:利用周期性先验来帮助恢复

图5 普通卷积和FAConv比较

本文还提出FAConv 傅里叶分析卷积在解码过程中加入Sine和Cosine周期函数来利用周期性进行特征恢复。

普通的卷积可以看作是局部映射,但是FAConv给网络加入了一个明显的周期性建模先验,使得融合后的特征被还原成最终图像的过程更加有效。

一句话理解:FAConv 采用傅里叶周期性特征来辅助解码器快速稳定地还原出融合后的图像。


05 实验:效果很好,计算量也很小

图6 定性比较的结果

表 1 MSRS 数据集上量化的比较结果

表 2 在M3FD、FMB两个数据集上进行量化的比较结果

论文在MSRS、M3FD、FMB在三个公开的数据集上做实验,并和SwinFusion、LRRNet、CDDFuse、DATFuse、CrossFuse、EMMA、SAGE、GIFNet等方法比较一下。

在MSRS数据集上,AIDFusion在CC、SCD、MS-SSIM得到最好的结果,在SSIM得到次好的结果。

而且它的体积很小:

参数为 0.247MGFLOPS: 1.85内存占用为 0.83G

与之相比,SwinFusion 是 118.53GFLOPs、CDDFuse 是 220.92GFLOPs,但是 AIDFusion 只有 1.85GFLOPs。

一句话理解:AIDFusion 优势并不是通过增加计算量来实现的,在很小的成本之下就得到了很好的融合效果。


06 消融:三部分均有效

图7 消融实验定性结果

表3 消融实验量化的结果

消融实验证明,在去掉DIILS、MMFM或者FAConv之后,模型的表现都变差了。

其中,DIILS 用来减小网络的惰性,MMFM 用来加强跨模态交互的效果,FAConv 用来提高解码和还原的能力。

一句话理解:DIILS使网络继续学习,MMFM使网络学习更加全面,FAConv使得结果恢复得更好。


07 一句话总结

AIDFusion 的主要贡献,并不是提出了一个更大型的融合网络,而是在于从“网络利用率”的角度来解决轻量网络在训练过程中后期会变得“懒惰”的问题。

它通过抑制网络惰性的DILS,通过MMFM加强了多种模式下的融合,再通过FAConv 采用周期性恢复先验最后实现了一个比较好的性能和效率之间的平衡。

要记住的是

轻量级模型并不一定差,主要看有没有把网络的优势发挥出来。

对图像融合的研究有帮助

未来的方法不一定要用到更大的模型上,在训练动态、网络利用效率以及轻量化模块的设计方面也存在新的突破点。


END

往期推荐

http://www.cnnetsun.cn/news/3233706.html

相关文章:

  • 2026年新手必看!生辰八字排盘应用推荐:真太阳时、AI提示词和命盘复盘怎么选?
  • HTML5+CSS3 个人主页实战:5个页面布局与JS轮播特效实现
  • npm 安全审计与依赖风险排查:5步构建供应链安全防线
  • AnythingLLM 与 Ollama 集成:3种本地LLM模型性能与成本对比评测
  • 终极指南:如何5分钟搭建网易云音乐永久直链解析API服务器
  • 高精度ADC与ARM MCU构建的数据采集系统设计
  • 5类概念漂移检测方法对比:从统计检验到深度学习模型的适用场景与性能权衡
  • ncmdumpGUI:3步解锁网易云NCM加密音乐,让音乐随处播放
  • LTC1864与PIC32MX的高精度ADC系统设计与优化
  • 汽车电子辅助电机系统解析:从 EPS 到 EPB 的 5 种底盘车身电机控制原理
  • “肥料袋定制攻略:盛军塑业如何破解农资包装痛点“
  • Python 的基本数据类型及其转换 整数的进制转换
  • Python入门必看!数据类型+进制转换+类型函数,这一篇就够了!
  • AIGC Agent技术架构解析与开发实战:从原理到企业级应用
  • Git文件“消失“了?别慌,这篇指南帮你捞回来
  • 雀魂牌谱分析终极指南:如何通过数据驱动提升麻将水平
  • 曲辕RPA-停止监听网页请求
  • AURIX TC4xx支持AB SWAP硬件升级
  • 动态规划完整讲解
  • 导师反馈“AI痕迹明显”,有哪些真正实测靠谱的的降AI率平台推荐?
  • Code Combat | 极客战记 攻略【Kithgard地牢篇 25/42】迷失在书库中
  • 国产球拍质检大揭秘:千万企业注意的冲击试验机密
  • 设计模式工厂模式解析
  • Vite自定义插件开发:把重复的构建步骤自动化完整指南
  • 利用协调服务实现分布式应用配置统一管理
  • Linux内核机制详解
  • 计算机大数据毕设实战-基于 Django 框架的电商用户行为画像可视化系统的设计与实现 基于多维数据的电商用户精准画像分析系统【完整源码+LW+部署说明+演示视频,全bao一条龙等】
  • 利用双向通信实现实时消息推送功能
  • CY5-纤维蛋白原CY5-Fibrinogen CY5标记纤维蛋白原
  • 智能体平台功能下线:数据迁移与未来趋势分析