| LiveMoments 用参考图引导的扩散模型提升重选封面帧画质
常使用中，用户往往希望从这段视频中重新选择某一帧作为封面，以捕捉更理想的表情、动作或时机。然而，在实际使用中，问题也随之显现：由于视频本身分辨率低、压缩严重，重选的封面帧往往画质不足，难以满足“封面级”的观感要求。
这一看似简单的需求，实际上仍缺乏有效的技术解决方案。现有单帧或参考修复方法难以处理来自同一场景却存在时间偏移的参考图像；而视频级方法又往往围绕整段视频序列设计，难以高效地服务于单帧封面修复。
图 1: 真实 Live Photo 场景下机内重选封面帧与 LiveMoments 的效果对比
vivo 蓝图实验室与南开大学联合发布了一项新的研究工作《LiveMoments: Reselected Key Photo Restoration in Live Photos via Reference-guided Diffusion》，首次系统性地定义了“基于原始封面帧参考的Live Photo重选封面帧修复”这一任务，并为该任务提供了创新性的解决方案。该工作已正式被国际机器学习顶级会议 ICLR 2026 接收。通过利用 Live Photo 中自带的高清原始封面帧作为参考，LiveMoments 能够在保持内容一致性的同时，显著提升重选封面帧的画质，使其真正达到可作为封面的视觉质量。
二、全新任务：为Live Photo带来更清晰的重选封面帧体验
不同于传统针对单帧图像或整段视频的参考修复任务，研究团队从 Live Photo 的真实使用场景出发，提出了重选封面帧修复（Reselected Key Photo Restoration）这一新问题。即利用原始封面帧作为高质量参考，引导低质量重选帧的修复过程，从而提升其视觉质量。
图 2: 参考超分与 Live Photo 重选封面帧修复的任务对比
这一任务可以看作参考图像超分（RefSR）的一个子问题，但与传统参考图像超分（RefISR）依赖来自外部数据库的高质量参考图不同，该任务使用来自同一 Live Photo 序列的原始封面帧，保证了内容一致性。同时，相比参考视频超分（RefVSR）需要处理整段视频、甚至依赖多摄像头数据的复杂设定，该任务只关注单张重选封面帧的修复，更贴近实际需求，也更加高效。
然而，这一设定也带来了新的挑战：Live Photo 中普遍存在的运动错位，以及原始封面与重选帧之间显著的质量差异，使得现有参考超分与单帧超分方法难以直接适用。而研究团队所提出的 LiveMoments 通过 Live Photo 中天然存在的高清原始封面帧作为参考引导重选封面帧的修复，能够在显著提升画质的同时，有效避免结构失真与细节不一致等问题。同时，该模型结合了扩散模型所具备的强生成先验，并针对 Live Photo 场景中广泛存在的运动错位设计了对齐模块，在复杂动态场景下依然表现出良好的稳定性与鲁棒性。
三、技术逻辑：参考引导下的重选封面帧修复
针对 Live Photo 中的重选封面帧修复任务，LiveMoments 的整体设计围绕两个关键问题展开：如何稳定实现细节迁移与修复，以及如何应对 Live Photo 中广泛存在的运动场景。
图 3: LiveMoments架构图
1.针对细节迁移与修复设计的 baseline：
LiveMoments 以扩散模型为基础，构建了一个包含参考引导的修复框架。借助扩散模型强大的生成先验，模型能够实现高效与细粒度的特征提取。同时，基于注意力的特征融合机制有效地引入了来自原始封面帧的细节与纹理信息，在提升清晰度的同时保持整体结构的一致性。这一设计使模型能够稳定可靠地恢复重选封面帧的画质。
2.针对 Live Photo 场景的运动对齐设计：
考虑到原始封面帧与重选封面帧往往存在明显的时间偏移与运动错位，LiveMoments 进一步引入了运动对齐模块，以提升跨帧对齐与参考融合的准确性。该模块同时作用于两个部分：在潜空间中，通过运动引导的注意力机制增强特征融合的一致性；在像素域中，通过图像块匹配检索策略定位并利用正确的参考区域。这一设计有效缓解了运动错位带来的干扰，使参考信息能够被更精准、可靠地使用。
四、实验结果：超越现有的参考超分与单帧超分方法
研究团队构建了 2 个真实场景下的 Live Photo 数据集与 1 个仿真数据集，并通过调整无参考评价指标，使其更适用于重选封面帧修复这一任务。真实 Live Photo 数据集由 vivo X200 Pro 与 iPhone 15 Pro 拍摄获得，模型在 2 个真实场景数据集上均取得了最优的评价指标，展现出稳定而全面的性能优势。
表 1: 2 个真实 Live Photo 数据集上 LiveMoments 与其他模型的数值指标对比
图 4: 真实 Live Photo 场景下 LiveMoments 与其他模型的修复效果对比
五、总结与展望
通过利用 Live Photo 中天然存在的原始封面帧作为参考，LiveMoments 采用双分支结构的设计，并结合统一的运动对齐模块，能够有效将原始高质量封面帧中的结构与纹理信息迁移至重选封面帧中，在复杂场景下依然表现出稳定的性能。该工作从实际应用场景出发，首次系统性地研究了 Live Photo 重选封面帧修复问题，能够广泛服务于多种影像场景：
- 日常拍摄：自由选择最满意的瞬间作为封面，不再受画质限制
- 内容创作：为短视频、社交平台内容提供更高质量的封面图
- 学术研究：为参考引导图像修复与扩散模型的应用提供新的研究范式
诚挚欢迎大家关注论文与项目进展，也期待这一工作能够为 Live Photo 相关的计算摄影与图像修复任务带来新的视角与