理想下一步的重点：从数据闭环到训练闭环

点击下方卡片，关注“自动驾驶之心”公众号

戳我->领取自动驾驶近30个方向学习路线

>>自动驾驶前沿信息获取→自动驾驶之心知识星球

理想汽在ICCV'25期间也分享了些新东西！目前还没有视频对外。

VLA团队负责人詹锟老师做了一场世界模型的presentation，名为World Model: Evolving from Data Closed-loop to Training Closed-loop。自动驾驶之心第一时间做了解读分享给大家~

首先是介绍下理想VLA司机大模型：

回顾了理想汽车智能驾驶的发展路线，从规则时代的轻图和无图，再到基于AI的E2E+VLM快慢双系统和VLA，这四个方案中Nav（导航）是重点突出的模块。

下面介绍的是数据闭环的价值。左上角这张图是一个完整的数据闭环流程：影子模式验证→经由数据触发回传到云端进行数据挖掘→有效样本进行自动标注→生成训练集训练模型→模型下发验证性能。

这个过程已经可以做到一分钟的数据回传。

目前已经有15亿公里的驾驶数据，200+的Trigger来生产15-45s的Clip数据。

目前理想的端到端量产版本MPI已经到了220+，相比于24年7月底的版本，MPI翻了19倍左右。

数据闭环虽然有效，但仅靠数据闭环解决不了所有问题。主要还是长尾场景的收敛问题，交通管制、烟花燃放、突然的变道等等。

所以抛出来一个观点：自动驾驶进入下半场

自动驾驶的下半场换个新玩法：从数据闭环到训练闭环。

L4的训练循环的核心是：VLA+RL+WM。

• 轨迹由VLA的Diffusion和基于世界模型的强化学习共同优化；

• 强化学习不仅仅是RLHF，还有RLVR和RLAIF

• 右侧的世界模型主要指场景重建和新视角复原；

闭环自动驾驶训练关键技术栈：区域级别的仿真、合成数据和强化学习。

• 仿真靠场景重建：视觉/Lidar重建、区域重建、多趟重建、场景编辑和风格迁移；

• 合成数据靠多模态生成：视频/点云生成、神经渲染；

• 强化学习靠Agent、3D资产和评测&奖励

詹锟老师本人出镜的重建和生成效果图。

理想汽车近期从重建到生成的方案发展，确实Feedforward 3DGS今年提的很多，无需点云初始化，直接由视觉输入得到最终结果。

理想这两年重建方面的工作，两篇顶会。

联合重建&生成方面的工作，一篇顶会。

生成方面的工作，三篇顶会。

生成的应用：从场景编辑，到场景迁移再到场景生成。

新的数据配比，看起来数据上下了不少功夫。

系统能力是增强引擎的关键，世界模型提供的仿真环境、3D资产构建多样化的场景、SimAgents做交互式行为建模、奖励模型准确的反馈泛化能力、GPU工程加速推理。

重点强调了可交互的Agent是训练闭环的关键挑战。

总结一下取得的成果和奖励。

自动驾驶之心