UC Berkeley团队打通人类视频到机器人执行链路，让机器人从“看到”走向“做到”

【导语：UC Berkeley团队提出的Do as I Do方法，利用单目RGB视频将日常人类操作转化为Sharpa Wave可执行轨迹，补上了类人灵巧操作从视频到机器人数据的关键链路，有望解决机器人学习的数据转换难题。】

Do as I Do：补上类人灵巧操作数据链路

人类学习灵巧操作往往从“看”开始，而当前机器人学习更多靠“做”，如遥操作、仿真执行等。YouTube等平台已有海量人手与物体交互的素材，但关键在于将单目RGB视频转化为多指灵巧手能执行的动作轨迹。UC Berkeley团队跑通了从网络视频生成真实灵巧手实机执行轨迹的完整链路。

三大难题制约机器人数据规模化

要实现灵巧机器人数据规模化，面临三个结构性难题。一是单目RGB视频中的手 - 物交互难以稳定重建，真实场景视频存在运动模糊等问题，现有跟踪方法存在局限性。二是带噪声的参考轨迹会让动作重定向失效，之前的方法假设输入干净数据，而网络视频重建的轨迹往往不干净，导致优化失败率高。三是遥操作本身难以规模化，成本高且难以覆盖海量人类视频。

两阶段流程解决核心问题

Do as I Do流程分两个阶段。阶段一用引导式扩散稳定跟踪物体，先选定锚定帧固定物体形状，后续帧的流匹配去噪过程让位姿采样结果靠拢，还根据2D点跟踪估计的旋转速度自适应调整位姿，在人工对比评估中表现优于FoundationPose。阶段二面向带噪声参考轨迹进行稳健动作重定向，在SPIDER框架基础上加入三项设计，将动作重定向成功率从25%提升到71%。

实验成果与数据筛选要点

该方法最终覆盖20类操作动作，选取10项代表性动作在双UR3e机械臂 + 双Sharpa Wave平台上以50Hz完成实机执行，动作覆盖多种物体形状和抓握方式。同时，研究团队提醒不能盲目追求视频数量，给出了数据筛选要点，如检查手和物体是否在画面内等，这将是打通“人类视频到机器人执行”流程的基础环节。

编辑观点：Do as I Do方法为机器人学习开辟了新途径，利用海量人类视频数据，有望推动类人灵巧操作的发展。不过，仍需解决一些技术难题，未来发展值得期待。