当前位置: 首页 > news >正文

(论文速读)Multinex:基于多优先Retinex的轻量级微光图像增强

论文题目:Multinex: Lightweight Low-light Image Enhancement via Multi-prior Retinex(基于多优先Retinex的轻量级微光图像增强)

会议:CVPR2026

摘要:微光图像增强(LLie)的目的是在严重光照退化的情况下恢复自然可见度、颜色保真度和结构细节。最先进的(SOTA)LLie技术通常依赖于大型模型和多阶段训练,限制了边缘部署的实用性。此外,它们对单一颜色空间的依赖引入了不稳定性和可见的曝光或颜色伪影。为了解决这些问题,我们提出了Multinex,这是一个超轻量级的结构化框架,它将多个细粒度的表示集成到一个Pruled Retinex残差公式中。它将图像分解为从不同的解析表示法得出的照明和颜色优先堆栈,并学习将这些表示法融合到校正曝光所需的亮度和反射率调整中。通过将增强优先于重建和利用轻量级神经操作,Multinex显著降低了计算成本,其轻量级(45K参数)和Nano(0.7K参数)版本就是例证。广泛的基准测试表明,所有轻量级变种的性能都大大超过了相应的轻量级Sota型号,并达到了与重型型号相当的性能。

项目页面,请访问https://albrateanu.github.io/multinex.


Multinex:用 700 个参数打败百万级模型的低光图像增强框架

一、背景:低光图像增强(LLIE)为什么难?

夜间监控、手机摄影、无人机巡检、自动驾驶……这些场景每天都在产生大量低光图像。低光图像的典型缺陷包括:亮度抑制、对比度差、噪声明显、色彩偏移(chromatic bias)。低光图像增强(Low-Light Image Enhancement,LLIE)的目标,就是在不引入新噪声和结构失真的前提下,恢复图像的自然外观。

近年来,基于深度学习的 LLIE 方法取得了显著进展,但两大问题始终制约着它们的实用性:

问题一:单一色彩空间导致增强不稳定

主流方法大多在单一色彩空间(RGB、YUV、HSV 或 HVI)中建模,这会导致亮度与色度信息高度耦合。一旦耦合,网络很难同时把"应该有多亮"和"应该是什么颜色"这两件事都做对,最终产生:

  • 曝光伪影(过亮或局部过暗)
  • 色彩漂移(偏黄、偏绿等)
  • 红色通道不连续(HSV 空间特有的 hue 跳变)
  • 黑平面噪声(暗部放大了传感器噪声)

问题二:大模型无法边缘部署

以 GLARE(59.48M 参数、508 GFLOPs)为代表的重型 SOTA 方法,在性能上固然亮眼,但在手机、嵌入式摄像头、无人机这类资源受限设备上根本无法实时运行。研究者们虽然探索了轻量化路线(ZeroDCE 79K、LYT-Net 45K),但参数量压缩到极致后,增强质量会出现明显的断崖式下降,尤其是低于 10K 参数的"微型"模型。


二、Multinex 的核心思路

一句话总结:不去重建整张图,而是只预测"需要加多少"——把多种物理先验打包进轻量网络,用最少的参数做最精准的修正。

Multinex 的设计哲学建立在三个支柱之上:

  1. Retinex 残差公式:从"重建"改为"修正"
  2. 多视图表示先验:多个色彩描述子提供互补视角
  3. 极致轻量融合网络:精心设计的注意力与特征模块

下面逐一展开。


三、核心创新一:Enhancement Delta(增强增量)

传统 Retinex 的问题

经典 Retinex 理论将图像分解为亮度图 L 和反射率图 R,增强图像通过重建。这种做法在低曝光场景下存在根本性困难:RGB 空间中亮度和色度高度耦合,很难分解出准确的 L 和 R,且整个重建过程需要额外的计算开销。

Multinex 的改进:加性残差

Multinex 不去预测整张图像"应该长什么样",而是预测一个加性修正场(Enhancement Delta),公式如下:

其中:

  • 亮度修正项,由亮度网络预测,三个 RGB 通道共享同一个亮度调整量
  • 反射率修正项,由反射率网络预测,负责颜色层面的修正

这样做的好处是三重的

  • 原始图像 I 始终保留,不会丢失固有纹理和结构信息
  • 网络只需要学习"差量",任务难度大幅降低,参数利用率更高
  • 加法运算的梯度稳定,训练更鲁棒

【此处配图:Figure 2(Multinex 整体架构图),展示 Multi-view Representation Construction → Fusion Module → Enhancement Delta → Enhanced Output 的完整数据流】


四、核心创新二:多视图表示先验(Guidance Stacks)

Multinex 不让网络从头学习所有颜色和亮度表示,而是提前解析地计算一批物理有意义的特征图,直接喂给网络。这些特征图被称为"引导栈"(Guidance Stacks),分为亮度引导栈和反射率引导栈

亮度引导栈(4通道)

分量公式物理含义
ITU-R BT.709 标准亮度,最接近人眼感知亮度
高亮区域能量代理,捕捉镜面反射与高光
HSL 感知亮度,引入轻微对比度正则化
RGB 向量的 L2 能量,编码像素总体强度

这四个分量分别从线性感知、高光响应、对比度调节和全局能量四个维度描述图像亮度,互补而不冗余

【此处配图:Figure 9 上方第一行(六个亮度候选描述子的可视化),展示各亮度图的外观差异】

反射率引导栈(5通道)

分量描述作用
YCbCr 的蓝差/红差分量从全局强度中剥离颜色信息
归一化色度比对绝对亮度不变,保留颜色比例关系
SHSV 饱和度量化像素离灰轴的距离(色彩鲜艳度)

这五个分量联合构成对低光图像颜色结构的全面刻画,论文通过线性重建分析(LRA)可视化证明,的组合能够准确还原图像的颜色结构。

【此处配图:Figure 8各子集的 LRA 可视化),展示恢复整体色彩,[r,g] 定位均匀反射区域,S 强化暗区边界控制】

为什么选这些而不是别的?

论文针对亮度引导栈额外考察了(算术平均)和(YCgCo 亮度)两个候选。通过描述子重要性分析(DIA)——一种 leave-one-out 的能量和梯度重要性量化方法——结果显示:

【此处配表:Table 5(候选亮度先验重要性排名),展示得分及排名】

在能量重要性中排名第一,在梯度重要性中排名第一,而两项均垫底——因此被排除。


五、核心创新三:轻量融合网络

Multinex 的网络主体是一个双分支融合模块(Fusion Module),亮度网络和反射率网络使用相同架构但独立权重,分别处理

融合块(Fusion Block, FB)

  • 第一个MSEF(多阶段 Squeeze-Excite Fusion):用全局上下文校准每个通道权重
  • DSConv + ReLU:深度可分离卷积引入轻量空间滤波与平滑门控
  • 第二个MSEF:对增强后的激活重新评估,强化跨通道一致性

分量注意力(Component-wise Attention, CWA)

CWA 的关键设计是为引导栈中每个描述子生成独立的注意力图,避免早期的跨通道混合(这正是 CBAM、MHSA 等方案的缺陷)。通过深度可分离卷积(DWConv)保持分量独立性,再用零偏置卷积做线性投影,参数量极低。

完整融合模块

CWA 产生的注意力图对特征进行掩码后,再经过 T 层 FB 精炼,最后用卷积输出修正量。

两个变体

变体FB 层数 T参数量GFLOPs
MultinexT=344.7K2.50
Multinex-NanoT=1(简化路径)0.7K0.04

六、实验结果

6.1 参考数据集定量对比

Multinex 按参数规模分成四组进行对比:重型(>10M)、中型(1-10M)、轻量(<1M)、微型(<10K)。

【此处配表:Table 1(LOLv1/LOLv2-real/LOLv2-syn 上的 PSNR/SSIM/LPIPS 结果),展示四组模型的完整对比数字】

核心结论:

  • Multinex(45K):LOLv1 PSNR=23.19dB,在轻量级组全面领先,超越 LYT-Net(22.38dB)约 0.8dB,且以不到 2.4% 的参数量逼近中型模型 CIDNet(23.81dB)
  • Multinex-Nano(0.7K):LOLv1 PSNR=19.42dB,在微型组全面最优,LOLv2-syn 达 21.05dB,大幅超越 RUAS(13.40dB)、SCI(15.43dB)

6.2 无参考数据集定量对比

在 MEF、LIME、DICM、NPE 四个真实场景数据集上,使用 NIQE 和 BRISQUE 两个无参考质量指标评估:

【此处配表:Table 2(MEF/LIME/DICM/NPE 上的 NIQE/BRISQUE 结果)】

  • Multinex 平均 NIQE=3.64(所有方法中最低,即最优),BRISQUE=14.33
  • 对比 CIDNet(NIQE=3.81,参数量 1.88M),Multinex 以 2.4% 的参数量将 NIQE 降低 0.17,BRISQUE 降低 5.69
  • Multinex-Nano 在极限体量下仍保持 NIQE=3.82,超越 ZeroDCE(4.97)等更大的模型

【此处配图:Figure 1(论文首图的散点图),直观展示参数量 vs. 平均NIQE 的权衡关系,Multinex 系列处于左上角(最优区域)】

6.3 下游任务:低光目标检测

将 Multinex 作为 YOLOv3 的前处理增强模块,在 ExDark 数据集上评估 12 类低光目标检测性能:

【此处配表:Table 3(ExDark 数据集上各类别 AP 和 mAP50 结果)】

  • Multinex-Nano(0.7K)达到 mAP50=80.7%,超越所有对比方法,包括专门为低光检测设计的 EMV-YOLO(79.7%,27K参数)
  • Multinex(45K)mAP50=79.7%,与 EMV-YOLO 持平但参数更少
  • 这说明 Multinex 的引导栈先验在极限压缩下对下游任务依然有益

6.4 定性结果

【此处配图:Figure 3(轻量级 SOTA 对比图),展示 RetinexNet、PairLIE、ZeroDCE、LYT-Net、RUAS、RSFNet、SCI 与 Multinex 的视觉效果】

  • RetinexNet、ZeroDCE、RUAS、SCI:明显的噪声或色彩伪影
  • PairLIE、RSFNet:噪声抑制较好但色彩饱和度损失明显
  • LYT-Net:整体较好但仍有轻微曝光偏差
  • Multinex:更干净的光照梯度,更稳定的色彩,最接近 Ground Truth

【此处配图:Figure 15(与中型/重型模型对比图),展示 Multinex 以极少参数接近 RetinexFormer、CIDNet、GLARE 的效果】


七、消融实验:每个设计的贡献

7.1 引导栈先验的消融

【此处配表:Table 4(a)(Multinex Priors 消融)】

配置PSNR (dB)
无先验(直接 RGB)14.15
仅 $\Delta_L$(亮度修正)20.57
仅 $\Delta_R$(反射率修正)18.50
$\Delta_L$ + $\Delta_R$(完整 Multinex)23.19

无先验的直接 RGB 建模仅能达到 14.15dB,加入亮度修正后跳升至 20.57dB,两者协同达到 23.19dB,性能提升接近9dB

【此处配图:Figure 4(先验消融的定性对比),直观展示不同配置下的图像质量】

7.2 CWA 和 MSEF 的消融

【此处配表:Table 4(b)(CWA/MSEF 分析)】

CWAMSEFPSNR (dB)
19.92
21.34
22.27
23.19

CWA 提供描述子级别的相关性加权,MSEF 提供局部细节增强,两者互补:单独使用任一模块均不及两者结合。

7.3 注意力机制对比

【此处配表:Table 4(c)(CWA vs. CBAM / MHSA / MDTA)】

注意力机制PSNR (dB)
CBAM_S20.44
MHSA + Pooling21.67
MDTA22.39
CWA(本文)23.19

CWA 为每个描述子生成独立注意力图,避免了 CBAM 的分量耦合和 MHSA+Pooling 的结构损失,以最低的复杂度取得最优性能。

7.4 亮度引导栈组合消融

【此处配表:Table 7(亮度引导栈各子集的 PSNR/SSIM)】

单个分量时 PSNR 在 18-19dB 徘徊,两两组合升至 20dB 区间,三组合达到约 22dB,全部四个分量的完整栈达到23.19dB,证明多视图亮度先验的每个分量均有独特贡献。

7.5 损失函数消融

【此处配表:Table 6(损失函数消融)】

MSE 单独使用约 22.31dB,加入 MS-SSIM 后强化结构一致性,再加入感知损失后进一步提升色彩真实感,三者组合最终达到23.19dB PSNR / 0.843 SSIM


八、局限性与未来工作

论文诚实地指出了 Multinex 目前的局限:

  • 复杂光谱畸变:对于复杂光谱失真、镜头光晕(lens flare)、混合自然-人工光照场景,增强效果有所下降
  • 极暗场景的噪声放大:解析先验在极暗区域可能放大传感器噪声
  • 高动态范围(HDR)局限:加性残差对欠曝光非常稳定,但对于高光截断或 HDR 恢复效果减弱

未来方向包括:将 Multinex 原则推广到内在图像分解色彩恒常性水下/去雾等任务,以及探索乘性公式或 Tone-Mapping 作为加性残差的替代方案,并尝试结合 Transformer 或扩散模型处理极端场景。


九、总结

Multinex 给出了一个清晰的答案:好的先验设计可以弥补参数量的不足。通过将多个解析计算的色彩和亮度描述子打包为引导栈,配合加性 Retinex 残差公式和精心设计的轻量融合模块,Multinex 在 45K 参数下达到了中型模型水平,在700 个参数(Multinex-Nano)下依然在微型模型中独占鳌头——甚至在低光目标检测任务上击败了所有对比方法。

维度MultinexMultinex-Nano
参数量44.7K0.7K
GFLOPs2.500.04
LOLv1 PSNR23.19 dB19.42 dB
平均 NIQE3.643.82
ExDark mAP5079.7%80.7%

对于需要在边缘设备上部署实时低光增强的应用场景,Multinex 系列提供了目前最具竞争力的参数效率,是一个值得重点关注的工作。

http://www.cnnetsun.cn/news/3987394.html

相关文章:

  • 企业做 Data for AI,应该如何选择云上数据底座?亚马逊云科技五层架构与选型路径
  • 基金申请书框架:把研究构想搭成基金申请书框架:立项依据、研究目标内容、方案、特色创新、基础与可行性。
  • 揭秘上海网站建设渠道的隐藏陷阱与避坑指南:从零基础到上线的全流程解析
  • 构建健壮业务循环:从设计模式到生产级实践
  • 上海红酒网站建设:打破同质化困境,打造有灵魂的品牌数字化名片
  • 中小团队低成本做好GEO优化!2026高性价比GEO查询工具选型攻略
  • 我用4个AI搭了一个“虚拟开发团队“,真实完成了项目迭代
  • Unity动态数据可视化实战:基于XCharts实现实时折线图
  • Utilizing Large Language Models for Zero-Shot Medical Ontology Extension from Clinical Notes
  • Learning to Compress: Unlocking the Potential of Large Language Models for Text Representation
  • 深度解析青岛建设厅网站:一站式查询政策解读与办事指南的最佳入口指南
  • 网站建设销售人员培训教程:如何从入门到精通打造高薪成交铁军
  • 半导体器件5——IGBT
  • MATLAB多峰高斯拟合实战:从原理到三峰分离的完整指南
  • 买了网站主机后如何建设网站:从零基础到上线的实战避坑指南
  • 商城网站建设清单:新手必看的避坑指南与实战细节
  • 基于KVM的VDI桌面云架构解析
  • 小i约球诞生记05:约球小程序,个人主体还是企业主体
  • 2026海关数据获客工具选型指南:跨境魔方等主流外贸平台对比评估
  • 北京网站建设学校揭秘:普通人如何低成本逆袭互联网高薪赛道
  • OpenClaw AI Agent框架本地部署与工程化实战指南
  • {“msg“:“请求访问:/xxx-api/xxx/xxx/list,认证失败,无法访问系统资源“,“code“:401}
  • Verilog仿真与调试实战:从语法陷阱到跨时钟域处理
  • 从整蛊脚本到实用工具:VBS、BAT、HTML/JS脚本的自动化原理与改造
  • Unity WebGL UI视频播放全攻略:从原理到实战避坑指南
  • 建设网站目录对于SEO优化的深远影响以及如何在2024年高效构建高质量网站目录以获取流量红利
  • 揭秘四川超宇建设集团网站背后的匠心传承与真实口碑解析
  • Java AI Agent框架选型:LangChain4j、Spring AI Alibaba与自主框架实战对比
  • Ubuntu 20.04下从零搭建SDN实验环境:Mininet、RYU与Wireshark实战
  • 【非标自动化】2、认识元器件(固态继电器)