118、超分模型的可解释性：可视化注意力图与特征图分析

118、超分模型的可解释性：可视化注意力图与特征图分析

去年调一个EDSR的魔改模型，跑出来的结果在纹理区域总是糊成一团，峰值信噪比倒是挺高，但肉眼一看就知道不对劲。我盯着那些数字看了半天，最后决定把中间层的特征图拉出来看看——这才发现模型在高层特征里压根没关注到高频细节区域，注意力全被低频背景吸走了。从那以后，每次训新模型，第一件事就是先可视化几组特征图和注意力图，比看loss曲线管用多了。

为什么需要可视化

超分模型本质上是在做“从低分辨率到高分辨率的映射”，但这个映射过程对研究者来说就是个黑盒子。你只知道输入是一张模糊的小图，输出是一张清晰的大图，中间那些卷积层、残差块、注意力模块到底在干什么，没人说得清。可视化就是给这个黑盒子开几扇窗。

具体来说，注意力图告诉我们模型“在看哪里”，特征图告诉我们模型“提取了什么”。这两样东西结合起来，能直接暴露模型的问题：是不是只关注了平滑区域？是不是把噪声当成了纹理？是不是某些通道完全没激活？这些信息在训练日志里是看不到的。

注意力图可视化：模型到底在看什么

以现在主流的通道注意力机制为例，比如SENet里的SE模块，或者RCAN里的CA模块。这些模块输出的注意力权重向量，每个元素对应一个通道的重要性。可视化的时候，我习惯把权重向量画成热力图，横轴是通道索引，纵轴是权重值。

踩过一个坑：直接拿注意力权重去乘特征图，然后可视化乘积结果。这样其实看不到注意力本身，看到的是注意力加权后的特征。正确的做法是先把注意力权重单独拎出来，归一化到0-1之间，然后画成柱状