多人对话视频生成的新发展：麻省理工学院数据集和基线模型 “CovOG

概述

由于传统的语音驱动视频生成研究仅限于单个说话者或人脸领域，本文提出了一项新任务–多人对话视频生成，其目标是生成多人之间的自然对话。

研究的重点是构建多人类互动对话数据集（MIT），这是一个 12 小时的高分辨率数据集。
该数据集收集了涉及 2 到 4 人的对话视频，并自动分配姿势估计和语音状态分数，以全面捕捉与多人对话相关的语音、听力和手势的互动。

此外，作者还开发了一个基线模型 CovOG 来应对这一新挑战。
CovOG 融合了多人姿势编码器（MPE）和交互式音频驱动程序（IAD），前者集成了每个人的姿势特征，后者根据语音特征控制面部动作，从而自然再现说话和聆听的角色变化。IAD。

这样就能生成模拟采访和脱口秀等真实场景的视频，为今后的研究发展奠定了重要基础。

拟议方法

拟议方法的核心是基线模型 “CovOG”，它是现有单人生成模型 "AnimateAnyone "的扩展。

首先，多人体姿态编码器（MPE）具有一种机制，可在卷积网络中分别处理每个人剪切出来的姿态，然后进行整合。
这样，系统就能灵活应对人数的波动，并在生成整体对话场景的同时，保持每个人的独立肢体动作。

接下来，IAD（交互式音频驱动程序）将每个说话者的语音特征和 "说话分数 "作为输入，并控制面部动作和表情。
当说话者说话时，该机制会使嘴部动作与语音同步；当说话者是听众时，该机制会产生点头和微笑等自然反应。

此外，CovOG 还使用参考图像来保持人的身份，并结合姿势和语音条件来生成视频。
这些创新技术能够生成多人对话视频，而传统的 "纯面部 "或 "单发言人 "模型则无法做到这一点，从而极大地扩展了视频合成的潜力，将自然互动纳入其中。

实验

在实验中，CovOG 的性能在麻省理工学院的数据集上进行了测试，并与传统方法进行了比较。

评估使用了表示图像质量的 SSIM 和 PSNR 以及衡量运动一致性的 FVD。

结果表明，CovOG 的表现始终优于 AnimateAnyone 和 ControlSVD 等代表性方法，而且质量稳定，特别是在多人对话情况下。

切除实验从数量上证明了这两个模块的有效性，切除 MPE 会导致整体姿势控制的丧失，而切除 IAD 则会导致不自然的面部动作。

在用户研究中，CovOG 在角色一致性、与音频的同步性和整体视频自然度方面也获得了很高的评价。
此外，在一项 "跨模态实验 "中，结合了不同视频中的身份、姿势和音频，CovOG 保持了时间上的流畅性和空间上的一致性，证明了它的多功能性。

这些结果表明，所提出的模型适用于再现逼真的多人对话。