2025_NIPS_HoliTom: Holistic Token Merging for Fast Video Large Language Models
HoliTom 论文总结与核心内容翻译
一、文章主要内容
本文针对视频大语言模型（video LLMs）因视频令牌冗余导致的计算效率低下问题，提出了一种无训练的整体令牌合并框架 HoliTom。该框架通过协同整合模型外（outer-LLM）时空压缩与模型内（inner-LLM）令牌合并策略，在大幅降低计算成本的同时保持了极高的模型性能。
核心背景
视频大语言模型在视频理解任务中表现出色，但编码后的视频令牌数量庞大，且注意力机制的二次复杂度导致推理成本极高。现有令牌剪枝方法存在局限：
- 模型内剪枝（如 FastV）在浅层网络存在固有计算开销，难以充分降低 FLOPs；
- 模型外剪枝（如 VisionZip）仅处理单帧空间冗余或有限时间窗口的 temporal 冗余，忽略全局时间动态性；
- 两类方法的协同潜力未被探索。
技术框架
HoliTom 包含三个关键阶段（前两阶段为模型外剪枝，第三阶段为模型内合并）：
- 全局冗余感知时间合并：通过动态规划对视频进行全局分割，合并连续帧中相似度超阈值的冗余令牌，最大化时间维度压缩；
- 空间合并：对非冗余令牌采用注意力权重引导的选择策略，对冗余令牌采用密度峰值聚类（DPC-KNN）合并，进一步降低空间冗余；
- 模型内合并：基于令牌相似度合并模型内部低