The Impact of Image Resolution on Biomedical Multimodal Large Language Models

文章总结与翻译

一、主要内容

本文聚焦生物医学多模态大型语言模型（Biomedical MLLMs）中图像分辨率的影响，核心围绕生物医学成像对高分辨率细节的需求与现有MLLMs适配低分辨率图像的矛盾展开研究。

1. 研究背景：生物医学成像（如放射学、病理学、显微镜成像）依赖2048×2048至12000×12000像素的原生分辨率图像，以捕捉肿瘤亚型、蛋白质定位等关键细节，但现有MLLMs多基于通用低分辨率数据集设计，通过下采样或局部patch提取处理图像，导致关键信息丢失或全局上下文缺失。
2. 核心实验：基于Qwen2-VL、InternVL2.5、LLaVA-OneVision等模型，在7个涵盖不同生物医学模态的数据集（含分类和视觉问答任务）上，探究训练/推理分辨率对性能的影响。
3. 关键发现：
   • 原生分辨率训练与推理能显著提升性能，准确率提升0.54%-6.8%；
   • 训练与推理分辨率不匹配会导致性能严重下降（最高降幅达48.7%）；
   • 混合分辨率训练（50%低分辨率+50%原生分辨率）可有效缓解分辨率失配问题，仅牺牲1.0%平均性能，同时平衡计算成本；
   • 零样本推理中，原生分辨率输入使模型在医疗VQA基准上平均提升4.0%；
   • 重采样技术（如Lanczos）可部分缓解低分辨率带来的性能损失，但无法完全替代原生分辨率。
4. 实践建议