ANOMALYCLIP: OBJECT-AGNOSTIC PROMPT LEARN-ING FOR ZERO-SHOT ANOMALY DETECTION
AnomalyCLIP框架图:
AnomalyCLIP关键创新:
创新点 1:
对象无关的文本提示词 采用 “正常物体 / 受损物体” 通用表述,剥离物体类别干扰。 优势:模型专注学习异常通用模式,实现跨领域零样本检测,无需为新场景修改提示词。
创新点 2:
全局 - 局部联合优化 全局损失(交叉熵损失):判断整张图是否异常(图像级检测)。 局部损失(焦点损失 + Dice 损失):聚焦像素级小缺陷,加权小区域损失,精准分割异常边界。
创新点 3:
DPAM 对角突出注意力机制 传统问题:CLIP 原生 Q-K 注意力聚焦全局物体,干扰局部细节识别。 改进方案:替换为 V-V 自注意力,生成对角突出注意力图。每个像素仅关注自身及周边区域,锁定细微异常,分割边界更清晰。
AnomalyCLIP总结:
解决了异常检测中一个具有挑战性但又很重要的领域,即ZSAD,其中目标数据集中没有可用于训练的数据。
我们提出了AnomalyCLIP来改善ZSAD中CLIP的弱泛化性能。 引入对象不可知提示学习来学习不同前景对象的图像数据集上的一般异常/正常文本提示。 为了将全局和局部异常语义结合到AnomalyCLIP中,设计了一个联合的全局和局部上下文优化来优化与对象无关的文本提示。
在17个公共数据集上的大量实验结果表明,AnomalyCLIP取得了优越的ZSAD性能。
