图像融合质量评估指南：Python实现信息熵、梯度与SSIM等核心指标

简介：图像融合评估指标的Python实现工具包，面向图像融合算法研究者、研究生及工程开发人员，集中实现信息熵、空间频率、标准差、峰值信噪比、均方误差、互信息、视觉保真度、平均梯度、相关系数、差异相关和、Qabf、SSIM、MS-SSIM、Nabf等十余种常用融合质量评价指标，能够大幅减少重复编码和对比调用的工作量。资源包共540个文件，压缩包约123.55MB，包含9个Python源文件、11个pyc预编译文件、7个XML配置文件、1个README说明文档以及504张PNG图像样本与结果图，文件类型覆盖源码、配置、说明与可视化结果，便于对照验证和二次开发。目前已有5357人浏览学习，适用于需要客观评估融合效果并生成指标报表的课题与工程场景。代码支持单幅图像评估、单个算法全部融合结果批量计算，也可直接对比多个算法结果，并将指标统一写入Excel，方便科研人员快速完成实验数据整理；目录结构清晰，附带示例图像与项目配置，上手成本低，可灵活嵌入现有评估流程。

1. 项目背景与核心价值

前阵子有个读研的朋友找我，说论文里对比了好几种图像融合算法，但审稿人问了一句“你凭什么说你的方法好”，他当场愣住了——只贴了几张融合后的图，没有量化数据支撑。这其实是很多刚接触图像融合的人都会遇到的问题：融合结果看着不错，但怎么用数字证明它“不错”？答案就是评估指标。

图像融合简单说，就是把多张同一场景下不同来源或不同时刻的图像合成一张信息更丰富的图。常用的场景包括多聚焦融合（近处清晰远处模糊和近处模糊远处清晰的两张图，合一张全景清晰的）、红外与可见光融合（可见光给纹理细节，红外给热目标）、遥感多光谱融合（全色图给分辨率，多光谱图给颜色）。无论哪种融合方法——拉普拉斯金字塔、小波变换、 Guided Filter、深度学习模型——最后都需要用统一的标尺去衡量融合质量。这套标尺就是评估指标，而python是实现这些指标最顺手的工具。

这篇文章我会从指标本身的数学意义讲起，再给一套可以直接跑的python实现，最后整理我实际用下来踩过的坑和不同场景下的选型经验。适合的读者是正在做图像融合课题的学生、刚入门图像处理想建立评估体系的工程师，以及论文里需要补量化对比部分的科研人员。

2. 评估指标体系拆解：为什么不能只看一张图

2.1 有参考指标与无参考指标的边界

评估图像融合质量，第一步要分清手里有什么。如果存在一张“理想融合结果”作为参照——比如模拟实验里事先合成好的标准答案——那就用有参考指标，比如均方误差（MSE）、峰值信噪比（PSNR）、结构相似性（SSIM）。这套逻辑和图像压缩、超分辨率任务是同一个套路，比的是“你的结果离标准答案有多近”。

但真实的融合场景里，大多数时候根本没有标准答案。两张源图像本就各有侧重，融合后应该长什么样没有绝对正确的定义。这时候只能靠无参考指标，从融合结果本身的统计特性出发做评价，比如信息熵（Entropy）、平均梯度（Average Gradient）、空间频率（Spatial Frequency）、标准差（Standard Deviation）。这类指标的核心逻辑是：融合图应该是信息量更大、边缘更锐利、纹理更清楚的图，所以指标值越“极端”越好。

这里有个新手容易掉进去的坑：指标不是越多越好，而是要分清楚你关心的是什么。PSNR只关心像素级误差，对结构信息不敏感；SSIM关心亮度、对比度和结构的综合相似度，更贴近人眼感知；信息熵只关心灰度分布离散程度，不关心空间分布——一个全是噪声的图熵值也可能很高。所以目前论文里的通行做法是同时报两组指标：一组无参考（信息熵、平均梯度、SF），一组有参考（PSNR、SSIM），互相补充。

2.2 数学定义背后的直觉

关于这些指标，死记公式没有意义，关键要理解每个公式在度量什么。

信息熵的计算公式是：

E = -Σ p_i * log2(p_i)

其中p_i是灰度值为i的像素出现的概率。这个式子衡量的是灰度分布的随机程度。分布越均匀，熵越高，说明图里含的“信息量”越大。但注意，它不关心这些信息是不是有用的。随机噪声图像的熵通常也很高，所以熵要配合其他指标一起看。

平均梯度的定义是：

AG = (1/(M*N)) * Σ sqrt( (∂f/∂x)^2 + (∂f/∂y)^2 ) / 2

也就是对每个像素求x方向和y方向的一阶差分，取平方和的平方根再平均。直觉上就是“整张图平均的边界陡峭程度”。值越高，融合图边缘保留得越好，清晰度越高。这个指标在多聚焦融合里尤其关键，因为多聚焦融合的核心诉求就是把清晰的边缘从源图里挑出来拼到一起。

空间频率SF是平均梯度的变体，分为行频率RF和列频率CF：

RF = sqrt( (1/(M*N)) * Σ (f(i,j) - f(i,j-1))^2 ) CF = sqrt( (1/(M*N)) * Σ (f(i,j) - f(i-1,j))^2 ) SF = sqrt(RF^2 + CF^2)

它比AG更偏向衡量整体的活跃程度。SSIM的计算涉及均值、方差和协方差，比梯度类指标复杂一些，但它有一个非常实用的特性：对亮度漂移不敏感。这意味着融合图整体亮度比源图偏亮或偏暗时，SSIM不会剧烈变化，这符合人眼对光照变化的适应性。

3. 基于Python的指标实现与封装

3.1 核心依赖与运行环境准备

python生态里做图像融合评估，最常用的三个库是numpy、opencv-python和scikit-image。numpy是基础运算库，scikit-image里其实已经封装好了SSIM等指标，opencv自带PSNR函数。但如果只为了调用现成函数，会丧失对指标内部逻辑的把控，而且有些指标（比如QG、QABF这类基于边缘信息的融合质量指标）官方库里没有现成的，必须手写。所以我的建议是：核心指标自己用numpy实现一遍，再和库函数做交叉验证，确保结果一致后，把自己的实现沉淀为工具函数。

安装环境这一步，给新人的快速方案是：

pip install numpy opencv-python scikit-image matplotlib

如果你用的是linux服务器，记得确认默认python版本。有些服务器上python3和python是分开的，pip对应的是老版本python，直接pip install会装错地方。我的习惯是先建虚拟环境再装依赖，避免污染系统环境：

python3 -m venv fusion_env source fusion_env/bin/activate pip install numpy opencv-python scikit-image

3.2 无参考指标：从零手写信息熵、平均梯度与SF

先手写信息熵。灰度图像是单通道，取值范围0到255，所以直方图统计256个bin就够了。但要注意一点：如果图像是float类型，取值可能超出[0, 255]的范围，或者有小数，直接统计会出问题。稳妥做法是先转成uint8，或者用np.clip把取值范围卡住再统计。

import numpy as np def information_entropy(image): """ 计算灰度图像的信息熵 image: 2D numpy array, 灰度图, 值域[0, 255] """ if image.ndim == 3: image = np.mean(image, axis=2).astype(np.uint8) image = np.clip(image, 0, 255).astype(np.uint8) hist = np.bincount(image.ravel(), minlength=256).astype(np.float32) hist /= hist.sum() # 过滤掉概率为0的bin, 避免log(0) hist = hist[hist > 0] return -np.sum(hist * np.log2(hist))

这里最关键的一步是hist[hist > 0]，如果不加这一步，log(0)会得到-inf，整个结果直接崩掉。很多讲熵的文章代码里都没提这个细节，但实际跑起来必踩。

平均梯度的实现更直接。用np.diff分别沿x轴和y轴做差分，注意np.diff的结果会比原图少一行或一列，所以计算平均时要按diff后的尺寸做分母。

def average_gradient(image): """ 平均梯度: 反映图像的清晰程度 """ if image.ndim == 3: image = np.mean(image, axis=2).astype(np.uint8) image = image.astype(np.float64) dx = np.diff(image, axis=1) dy = np.diff(image, axis=0) # 裁剪到相同尺寸 dx = dx[:-1, :] dy = dy[:, :-1] grad = np.sqrt((dx**2 + dy**2) / 2.0) return np.mean(grad)

空间频率SF和平均梯度的计算几乎一样，差别在于行频率用的是先纵向扩展到完整尺寸再整体开方。你可以直接把AG代码改一下，先分别算RF和CF，再合成SF：

def spatial_frequency(image): if image.ndim == 3: image = np.mean(image, axis=2).astype(np.uint8) image = image.astype(np.float64) h, w = image.shape rf = np.sqrt(np.mean(np.diff(image, axis=1)**2)) cf = np.sqrt(np.mean(np.diff(image, axis=0)**2)) return np.sqrt(rf**2 + cf**2)

注意这里np.mean要传整个矩阵的平均而不是行的平均，如果不加axis参数，np.diff的结果仍然是个矩阵，直接np.sum再除以总数也行，但用np.mean更简洁。

3.3 有参考指标：PSNR、SSIM的两种实现路径对比

PSNR的公式很简单：

PSNR = 10 * log10( MAX^2 / MSE )

MAX是图像最大可能像素值，uint8图就是255。MSE是两张图逐像素差的平方均值。实现几乎一句话：

def psnr(img1, img2): img1 = img1.astype(np.float64) img2 = img2.astype(np.float64) mse = np.mean((img1 - img2) ** 2) if mse == 0: return float('inf') return 10 * np.log10(255.0**2 / mse)

SSIM的实现比PSNR繁琐不少。scikit-image的skimage.metrics.structural_similarity可以直接用，但如果你需要在自己论文里透明展示计算过程，或者需要对多个通道做扩展，自己实现也很有价值。SSIM的核心分三块：亮度比较、对比度比较、结构比较。对于窗口（默认7x7或11x11高斯窗）内的两个patch，分别计算均值、方差和协方差，然后组合：

from scipy.ndimage import uniform_filter, gaussian_filter def _ssim_for_patch(img1, img2, win_size=7, sigma=1.5, data_range=255.0): K1, K2 = 0.01, 0.03 C1 = (K1 * data_range) ** 2 C2 = (K2 * data_range) ** 2 img1 = img1.astype(np.float64) img2 = img2.astype(np.float64) # 计算窗口内均值 mu1 = gaussian_filter(img1, sigma) mu2 = gaussian_filter(img2, sigma) sigma1_sq = gaussian_filter(img1**2, sigma) - mu1**2 sigma2_sq = gaussian_filter(img2**2, sigma) - mu2**2 sigma12 = gaussian_filter(img1*img2, sigma) - mu1*mu2 ssim_map = ((2*mu1*mu2 + C1) * (2*sigma12 + C2)) / \ ((mu1**2 + mu2**2 + C1) * (sigma1_sq + sigma2_sq + C2)) return np.mean(ssim_map)

这里用的是一种全局近似实现，即整个图像共享一组统计量，而不是真正的局部SSIM map。如果要做严格意义的SSIM，需要在滑动窗口内逐像素计算，效率会低不少。scikit-image的实现更严谨，但公式本质完全一样。我的建议是：论文里优先调用skimage版本，因为它的参数是经过大量验证的，审稿人不会挑刺；自己写的版本用于学习理解或验证结果是否一致。

补充一个经验：skimage的structural_similarity函数，win_size传奇数，否则底层会报错；且如果图像尺寸小于win_size，它会自动调整，但结果可能和预期不同。

3.4 综合评估代码封装

实际项目里，通常会把所有指标聚合成一个评估函数，输入是一组源图像加融合结果，输出是一个指标字典，直接打印成表格。我通常这么设计：

def evaluate_fusion(fused, source_imgs, reference=None, metrics=None): """ fused: 融合结果, ndarray source_imgs: 源图像列表, 用于无参考指标 reference: 标准参考图, 可选 metrics: 需要计算的指标列表, 默认全部 """ results = {} if 'entropy' in metrics: results['信息熵'] = information_entropy(fused) if 'ag' in metrics: results['平均梯度'] = average_gradient(fused) if 'sf' in metrics: results['空间频率'] = spatial_frequency(fused) if reference is not None: if 'psnr' in metrics: results['PSNR'] = psnr(fused, reference) if 'ssim' in metrics: from skimage.metrics import structural_similarity as ssim results['SSIM'] = ssim(fused, reference, data_range=255) return results

这里我特意把source_imgs参数留出来了，有些无参考指标比如QG（基于梯度的融合质量）需要同时输入源图和融合图做边缘信息对比，等后面进阶了可以再补进去。

4. 实操记录：两组对比实验中的指标分析

4.1 经典多聚焦融合案例

我拿了一个标准的多聚焦测试图对来跑实验，用的是公开数据集里的“clock”图对：一张左半清晰右半模糊，另一张左半模糊右半清晰。分别用三种融合方法处理：加权平均、拉普拉斯金字塔、以及一个简单的基于PCNN的融合。然后统一计算指标。跑了结果之后，信息熵上的差距没有想象中那么大，反而是平均梯度和空间频率把方法的高下分得特别明显。

加权平均的融合结果在视觉上已经能看，但指标全面落后。原因在于它把模糊区域的信息也平均进来了，边缘强度被明显减弱。金字塔方法把清晰区域的梯度信息尽量保留，所以梯度类指标高出一截。如果只用PSNR判断，金字塔方法确实好，但如果只看PSNR你会漏掉一个重要信息——当没有参考图时（实际场景基本都没有参考图），你只能靠熵、梯度和SF来横向对比方法优劣，这时梯度类指标的区分度最高。

这个实验说明一个关键点：不要只报一个指标，也别只报有参考指标。融合方法在无参考场景下比拼的核心其实就是“边缘保留能力”和“信息丰富度”，对应平均梯度和信息熵。这两个指标在论文表格里几乎成了约定俗成的标配。

4.2 红外与可见光图像融合实测

第二次实验我用的是红外与可见光配对图，这类图的特点很鲜明：红外图整体偏暗，目标区域（比如行人、车辆）亮度高但纹理少；可见光图纹理丰富但目标区域可能被环境淹没。融合的目标是让目标突出且背景纹理不丢失。

用同样的指标体系跑，结果出现了和上一组实验不同的现象：某一种深度学习方法的PSNR不如传统方法，但平均梯度和空间频率都更高。这里就要注意了——PSNR在有参考图的前提下容易“骗人”，因为它对亮度差异非常敏感，而红外和可见光融合的参考图本身就是人工构造的，不同人构造的参考图不一样，PSNR的可比性存疑。更合理的做法是：有参考指标仅在模拟数据集里报告，无参考指标在真实图像融合里作为主要评价依据。

我后来在论文里写结论时，都会加上一句“由于真实红外/可见光融合场景缺乏标准参考图，主要以无参考指标结合主观视觉评价为准”。这句话不是套话，是真的能防止审稿人揪着PSNR不放。

4.3 指标测试稳定性验证

还有一次经验值得说下。同一组融合图，在我的电脑上和信息熵和平均梯度结果很稳定，但换了一台机器、换了一套numpy版本后，SSIM结果出现了小数点后第三位的差异。排查后发现是scikit-image版本升级后，SSIM默认参数从gaussian_weights=False改成了True，导致内部窗口统计方式改变。所以做实验记录时，一定要把库版本号写清楚，不然复现时对不上数据会非常崩溃。建议用pip freeze > requirements.txt锁定环境。

5. 常见问题与实战排错

5.1 图像通道与数据类型导致的计算错误

这是所有图像处理入门者的第一道坎。读取图像时如果你用cv2.imread，默认读进来是BGR三通道，直接把三通道图扔进information_entropy里，np.bincount处理二维数组会把所有通道的像素混在一起统计，结果看似正常但逻辑是错的。处理融合图时必须明确：评估指标大多基于灰度图设计，彩色图先转灰度再算，或者按通道分别计算再取平均，前者简单，后者能保留颜色信息但也更复杂。

另外，深度学习中模型输出的图像经常是float类型，值域在[-1, 1]或[0, 1]之间，直接算信息熵会把负值clamp成0，或者把小数部分取整，导致指标和真实视觉质量脱节。正确流程是：先把float图恢复到[0, 255]范围，再转uint8，最后算指标。

5.2 指标数值出现NaN或无穷大的排查

信息熵出现NaN，几乎一定是因为log(0)。检查hist里是否有零概率bin，过滤掉再计算即可。PSNR出现inf，说明两张图逐像素完全一致，这在对比实验里说明融合结果和参考图完全相同，属于极端情况，检查是不是代码里不小心直接复制了参考图。

还有一个隐蔽问题：平均梯度如果输入图像全黑（所有像素都一样），dx和dy全为0，grad全为0，结果就是0，不会报错，但含义是“完全没有细节”。如果全白图也一样。这时候要回到融合方法本身排查，而不是指标的问题。

5.3 不同尺寸图像的预处理

融合算法的输入输出尺寸理论上应该一致，但实际工作中经常遇到尺寸不匹配的情况。比如某些深度学习模型下采样后再上采样，输出尺寸会有几个像素的偏差，直接用np.diff计算平均梯度时不会报错，但算PSNR时两张图size不一致，np.mean((img1-img2)**2)会直接抛异常。解决办法是统一尺寸再评估：resize成参考图大小，或者用center crop裁出公共区域。我在实际项目里更偏好center crop，因为resize会引入插值噪声，轻微干扰指标。

5.4 多指标冲突时怎么取舍

只要跑过几次实验，你就会遇到这个局面：方法A的信息熵比B高，但平均梯度比B低；方法A的PSNR比B高，但SSIM比B低。这时候怎么下结论？我的处理办法是：先看任务目标。多聚焦融合，核心是清晰度，平均梯度和SF优先；红外可见光融合，核心是目标增强和背景保持，熵和主观视觉优先。如果指标打架，说明两种方法各有侧重，论文里就坦诚地写“A方法在梯度类指标上占优，B方法在信息量上略好，整体来看A更适合需要边缘锐利的场景”。审稿人更接受这种具体的分析，而不是用一个综合排名强行分出高下。

6. 工具链扩展与效率建议

评估工作在实际项目中往往不是只跑一次。我通常会写一个batch评估脚本，把整个文件夹里的融合结果批量计算指标，输出成CSV，再自动生成对比表格。这个流程的核心代码并不复杂：

import os import pandas as pd import cv2 def batch_evaluate(fused_dir, src_dir, output_csv): rows = [] for fname in os.listdir(fused_dir): fused_path = os.path.join(fused_dir, fname) src1_path = os.path.join(src_dir, fname.replace('_fused', '_src1')) # 实际情况按你的命名规则来 fused = cv2.imread(fused_path, cv2.IMREAD_GRAYSCALE) src1 = cv2.imread(src1_path, cv2.IMREAD_GRAYSCALE) rows.append({ 'image': fname, 'entropy': information_entropy(fused), 'ag': average_gradient(fused), 'sf': spatial_frequency(fused), }) df = pd.DataFrame(rows) df.to_csv(output_csv, index=False) print(df)

建议把常用指标函数单独存成一个fusion_metrics.py文件，随项目一起走。换项目时直接import，不需要重复造轮子。更高阶的用法是写一个装饰器，对每个指标自动处理灰度转换、float归一化，这样主代码会干净很多。

还有一点值得提的是，如果你在用deep learning框架做融合，指标计算建议在CPU上用numpy完成，不要在GPU上做。原因是指标计算量其实很小，频繁的GPU数据传输反而会成为瓶颈，而且numpy的实现天然便于debug，值和引用时不会被Tensor的device问题卡住。

7. 遗留方向与个人补充建议

我这里没有把全部的融合评估指标都列全，比如基于互信息（MI）的指标、基于边缘保持度的QABF/QG指标、基于谱残差的指标都还没有展开。这些指标在某些特定领域里很关键，尤其QABF在遥感图像融合里几乎是必报项。如果这篇反馈不错，后面可以单独写一篇基于边缘信息保持度的评估实现。

按我现在的经验来看，评估一件融合算法的好坏，指标值只是表象，真正重要的是理解每个指标在度量哪个维度的“好”。跑代码只是几分钟的事，但能不能给指标结果一个合理、有说服力的解释，才是论文能不能打动人、工程上能不能做对选择的核心能力。这也是为什么我一直建议自己动手实现一遍核心指标，而不是只依赖库函数——实现的过程会强迫你去抠每一个公式、每一个边界条件、每一个数据类型的坑，这些经验是调库永远换不来的。

本文还有配套的精品资源，点击获取