TherA-VLM框架：融合热物理先验的RGB-TIR图像转换技术
1. 项目概述：TherA-VLM框架的核心突破
在计算机视觉领域，RGB到热红外（Thermal Infrared, TIR）图像转换一直是个棘手的问题。传统方法如InstructPix2Pix等将这个问题简单视为像素级风格迁移，结果生成的TIR图像经常违反热物理规律——比如把静止车辆错误地渲染出高温排气口。这背后的根本原因在于：TIR图像的生成受到材料发射率、物体活动状态（如发动机是否运行）、环境因素（时间、天气）等多重物理变量的复杂影响，导致单一RGB输入可能对应无数种"合理"的TIR输出。
TherA-VLM的创新在于首次将热物理先验明确引入到图像转换流程中。其核心是一个经过热物理知识增强的视觉语言模型（VLM），能够从RGB图像中解析出与热辐射相关的语义属性（如材料类型、物体活动状态等），生成结构化的"热描述符"。这些描述符随后作为条件信号，引导扩散模型生成物理合理的热红外图像。实测表明，这种方法在FLIR和M3FD等基准测试中PSNR指标提升超过20%，更重要的是解决了传统方法生成结果违反热力学定律的根本问题。
2. 技术架构解析：两阶段协同设计
2.1 热感知视觉语言模型（TherA-VLM）
TherA-VLM基于LLaVA 1.5架构，但进行了三项关键改进：
热物理知识注入：使用Gemini 2.5 Pro分析10万对RGB-TIR图像，生成结构化热描述文本。这些文本遵循"场景-物体-材料-热状态"的四元组格式（如"晴天，车辆(金属，active)，路面(沥青，passive)"），形成热物理语义与视觉特征的映射关系。
紧凑热嵌入生成：模型最后一层隐藏状态hN（维度L×4096）通过TE-Adapter降维到L×768，成为扩散模型的条件输入。相比原始CLIP文本嵌入，这种热专用嵌入包含更明确的物理属性指示。
控制接口设计：支持两种控制模式：
- 文本指令：修改全局属性（如"设置为夜间"）
- 参考图像：调整物体级热状态（如将某辆车设为"active"）
关键细节：TE-Adapter采用两层FFN实现维度转换，训练时冻结VLM主体只更新适配器参数，既保留预训练知识又适应新任务。
2.2 热条件扩散模型
扩散模块采用改进的Stable Diffusion架构，核心创新点包括：
多模态条件融合：UNet输入为8通道张量，前4通道是噪声TIR潜在表示，后4通道来自RGB图像的VAE编码。这种设计同时保留原始RGB的结构信息和TIR的辐射特性。
双CFG引导机制：噪声预测采用分级引导：
ϵ_uncond = UNet(x_t, ∅, ∅) # 无条件预测 ϵ_rgb = UNet(x_t, z_rgb, ∅) # RGB条件预测 ϵ_final = ϵ_uncond + s_v*(ϵ_rgb - ϵ_uncond) + s_s*(ϵ_thermal - ϵ_rgb)其中s_v=0.5控制结构保真度，s_s=1.5增强热物理合理性。
热异常处理：针对热成像特有的"热反转"现象（昼夜温差导致的辐射特性反转），模型通过文本指令（如"模拟夜间热特性"）实现物理解耦，即使输入是白天的RGB也能生成合理的夜间TIR图像。
3. 数据工程：R2T2数据集构建
3.1 数据采集与对齐
项目团队整合了来自FLIR、KAIST、LLVIP等12个公开数据集的11.3万对RGB-TIR图像，处理流程包括：
空间对齐：对非严格对齐的数据（如NuScenes），先用MINIMA算法估计跨模态对应点，再计算全局单应性变换。通过人工验证剔除残差较大的样本（图1）。
时间同步：保留时间戳差异<100ms的帧对，确保动态场景的一致性。
伪对齐扩充：对Cityscapes等RGB-only数据集，通过跨数据集检索最相似的TIR图像构建伪配对，经人工筛选后增加5万训练样本。
3.2 热描述生成与规范化
使用Gemini 2.5 Pro生成结构化描述时，采用严格的物理约束：
辐射链参数化：将热辐射方程Φ=τatmεΦbb(Tobj)+...离散化为：
- 材料→发射率ε（金属0.85-0.95 vs 塑料0.8-0.9）
- 活动状态→Tobj（active物体高3-5℃）
- 场景→τatm和Φamb（夜间τatm升高）
词汇规范化：建立23类物体、13种材料、14种颜色的映射表，例如：
{ "vehicle": ["car", "truck", "motorcycle"], "metal": {"emissivity": 0.88, "thermal_conductivity": 50-400} }矛盾检测：当描述与TIR图像明显冲突时（如标注"cool"但实际高温），自动触发LLM修正流程。
4. 关键实现细节与调优
4.1 模型训练策略
分阶段训练：
- 第一阶段：在R2T2上训练TherA-VLM，冻结视觉编码器，仅微调LoRA层（rank=128）
- 第二阶段：固定VLM，训练扩散模型+TE-Adapter，lr=1e-4，batch=32/GPU
条件丢弃正则化：以10%概率随机丢弃文本/RGB条件，增强模型鲁棒性。
梯度裁剪：设置全局范数阈值0.5，防止热嵌入训练不稳定。
4.2 物理合理性保障
材料-温度约束：在损失函数中加入先验项：
L_{phys} = λ∑|T_pred - (ε·T_obj + (1-ε)T_env)|其中ε来自材料查找表。
活动状态验证：对车辆类物体，检查热图是否在引擎/排气口区域出现高温簇，避免"冷车冒热气"错误。
昼夜一致性：通过参考图像引导，确保同一场景在不同时间的热分布符合斯蒂芬-玻尔兹曼定律。
5. 性能评估与对比实验
5.1 定量结果（表1）
| 方法 | M3FD-PSNR | FLIR-FID |
|---|---|---|
| InstructPix2Pix | 13.94 | 178.03 |
| DiffV2IR | 18.97 | 91.44 |
| TherA (Ours) | 19.54 | 83.78 |
在零样本设定下，TherA在CART数据集上LPIPS指标相对基线提升45%，证明其卓越的泛化能力。
5.2 典型失败案例分析
透明材料处理：玻璃（ε≈0.9）和镜面反射体仍会出现辐射率估计错误，因其RGB外观与热特性关联性弱。
微小物体：手机等小型电子设备的热状态预测准确率仅68%，因在RGB中占比过小。
极端天气：暴雨场景的热扩散模拟有时违反傅里叶热传导定律，需额外物理引擎辅助。
6. 应用场景与实操建议
6.1 自动驾驶数据增强
使用参考图像引导生成不同热工况下的数据：
# 将城市白天场景转为夜间热特性 python translate.py --input day_rgb.jpg --text "nighttime thermal"6.2 安防监控分析
通过文本指令突出特定热特征：
"增强人体热信号，抑制背景辐射"6.3 工业检测
对TherA-VLM输出进行后处理，提取热异常区域：
thermal_mask = (T_pred > mean_T + 3*std_T);经验提示：实际部署时建议用FLIR BOSON等真实TIR相机进行少量微调（≈50张），可进一步提升域适应性能。