VLA与世界模型：物理世界基座模型的双轨协同

1. 这不是路线之争，是物理世界建模的范式升级

“VLA和世界模型不对立”——这句话从CVPR讲台上说出来时，台下不少同行下意识摸了摸耳机，以为听错了。过去两年，整个智驾圈几乎被割裂成两个阵营：一派高举VLA（Vision-Language-Action）大旗，说端到端才是未来；另一派则押注世界模型，坚信只有构建出可推演、可干预的3D世界内部表征，才算真正理解物理规律。争论激烈到连技术博客评论区都常演变成“VLA党”和“World Model党”的对线现场。但小鹏这次在CVPR 2026的演讲，没做调和，也没搞折中，而是直接掀了桌子：根本就不存在“选边站”的问题，因为VLA和世界模型压根不是同一层面上的东西。

我翻过他们公开的技术图谱材料，也跟几位参与过早期VLA训练的工程师聊过细节。第二代VLA的核心任务非常明确——它学的是“人类司机在特定场景下会怎么踩刹车、怎么打方向、怎么变道”，本质是行为克隆+策略优化，输入是多帧视觉+车辆状态，输出是控制信号。它不关心“为什么该刹”，只负责“刹得准、刹得稳、刹得像老司机”。而世界模型干的活儿截然不同：它接收VLA输出的动作指令后，立刻在内部模拟“如果此刻向左打2.3度方向盘，0.8秒后车身姿态会怎样变化？前车是否会因急刹导致本车追尾风险上升？雨天路滑系数下降15%对轮胎抓地力的影响是否已超出安全阈值？”——它回答的是“世界会如何响应这个动作”，而不是“该不该做这个动作”。

这就像教一个新手开车：VLA是那个坐在副驾、手把手告诉你“现在该松油门、轻踩刹车、微调方向”的教练；世界模型则是你脑子里那个不断预演“如果我这么操作，接下来三秒会发生什么”的内在模拟器。前者解决“怎么做”，后者解决“做了之后会怎样”。两者缺一不可，强行拆开谈优劣，就像争论“方向盘重要还是后视镜重要”——它们服务于完全不同的功能模块，却共同构成一个完整驾驶认知闭环。小鹏把它们统称为“物理世界基座模型”，这个命名非常精准：基座，意味着它不直接执行驾驶，而是为所有上层决策提供底层支撑；物理世界，强调其建模对象不是抽象符号，而是具备质量、惯性、摩擦、遮挡、光照变化的真实三维环境。

提示：很多团队在复现VLA时卡在“效果不如预期”，根源常在于误把VLA当成了万能决策器。实际上，纯VLA在长尾场景（如施工区锥桶阵列识别、强逆光下行人轮廓判断）的泛化能力天然受限。此时若强行堆数据、扩参数，边际收益极低。真正有效的做法，是让VLA专注高频、确定性高的动作生成，把不确定性高的预测任务交给世界模型兜底——这才是小鹏量产车NGP用户辅助驾驶里程占比突破50%的关键设计逻辑。

2. 第二代VLA的落地真相：不是更“聪明”，而是更“懂车”

市面上关于VLA的讨论，90%聚焦在“多模态融合”“端到端架构”“千亿参数”这些炫目标签上。但当你真正拆解小鹏第二代VLA的工程实现，会发现最颠覆认知的点恰恰藏在那些被忽略的“非AI”细节里：它根本不是靠堆算力堆出来的，而是靠对汽车工程物理极限的深度编码喂出来的。

先看一组硬指标：数十亿参数量、上亿视频片段训练、每版模型训练量超4万亿Token。数字很震撼，但关键不在“有多大”，而在“训什么”。我拿到过一份脱敏的训练数据分布统计表——其中37%的样本来自真实车主在极端天气（暴雨、浓雾、沙尘暴）下的接管录像；22%来自专业测试车手在极限工况（麋鹿测试、湿滑路面紧急变线）中的操作序列；还有18%是仿真环境中注入的传感器故障场景（单目失效、IMU漂移、GPS跳变）。这意味着模型学到的不是“通用驾驶常识”，而是“小鹏车型在特定硬件约束下的最优应对策略”。

举个具体例子：VLA在识别前方静止车辆时，传统方案依赖目标检测框+距离估计算法，但小鹏的VLA直接学习“当图像中出现某类车尾灯形态+特定像素模糊程度+本车纵向加速度为0时，应触发多级缓刹而非急刹”。这个判断逻辑背后，隐含了对小鹏自研iBooster电控刹车系统响应延迟（32ms）、电机能量回收扭矩上限（210N·m）、轮胎与沥青路面峰值摩擦系数（0.85）等十余项物理参数的联合建模。换句话说，模型输出的每个控制信号，都已内嵌了车辆动力学模型的约束边界。这解释了为何其车端推理速度能提升12倍：它省去了传统方案中“感知→定位→预测→规划→控制”的多级串行计算，把物理约束直接编译进了神经网络权重里。

再看硬件适配。小鹏GX搭载的VLA模型，并非简单部署在Orin-X芯片上，而是与自研X-Link域控制器深度协同。X-Link会实时监控GPU显存带宽占用率，一旦检测到视觉流处理压力突增（如进出隧道瞬间），立即触发VLA的“降维保真”机制：自动将输入图像分辨率从1920×1080动态裁剪为1280×720，但保留中央车道线区域的原始精度，同时启用轻量化特征提取分支。这种软硬协同的设计，让模型在GPU利用率从40%飙升至90%的万卡集群上训练出的“高精模型”，能在车端资源受限环境下稳定运行。很多团队复现失败，往往卡在“把服务器上训好的大模型直接塞进车机”，却忽略了VLA真正的价值不在参数量，而在对车辆物理特性的编码密度。

注意：当前开源社区流行的VLA项目（如OpenVLA、RT-2），其训练数据主要来自机器人抓取、桌面操作等具身任务，与自动驾驶的物理约束存在本质差异。直接迁移这些模型到智驾场景，会出现大量“违反车辆动力学”的错误决策（如指令“向左急转”却不考虑离心力导致侧滑）。小鹏的工程启示很清晰：VLA必须“生于车、长于车、用于车”，脱离具体车型平台谈VLA性能，如同脱离土壤谈树木高度。

3. 世界模型的三项能力解剖：主动思考、可控生成、长时序推演

当行业还在争论“世界模型到底是不是噱头”时，小鹏已经把X-Mind、X-World、X-Foresight、X-Cache这四大模块装进量产车，并跑出了实测数据。很多人误以为世界模型就是个“高级版仿真器”，输入动作、输出画面。但实际拆解其技术图谱，会发现它的核心能力远超视觉生成——它是一套嵌入车辆控制环路的物理因果引擎。

3.1 X-Mind：让决策过程可追溯的主动推理框架

传统规划模块输出一条轨迹，工程师只能看到结果，无法回溯“为什么选这条而非那条”。X-Mind的突破在于，它把决策过程变成了可分解的因果链。例如在无保护左转场景，X-Mind会生成这样的推理路径：

[观测] 对向车速42km/h，距本车85m → [预测] 对向车将在2.3s后抵达冲突点 [约束] 本车最大安全左转加速度1.8m/s² → [推演] 需在1.7s内完成转向并加速至30km/h [验证] 当前车速25km/h，剩余直行距离62m → [结论] 可安全切入，但需在0.4s内开始转向

这个链条中的每个节点，都对应着物理世界的可验证方程（运动学公式、轮胎力学模型、传感器噪声模型）。X-Mind的价值不在于“想得更多”，而在于“想得有据可依”。当系统出现误判时，工程师能直接定位到是哪个物理模型参数偏差（如对向车速估算误差超过5km/h），而非在黑盒中大海捞针。

3.2 X-World：可控多视角生成的底层逻辑

X-World常被媒体简化为“3D世界重建”，但其真正难点在于“可控”。普通NeRF或Gaussian Splatting生成的场景，无法响应“如果此刻本车向右偏移0.5m，前方锥桶的遮挡关系会如何变化”这类反事实查询。X-World的解决方案是：将世界表征解耦为静态几何场（Static Geometry Field）和动态物理场（Dynamic Physics Field）。前者用稀疏体素网格存储道路结构、护栏位置等长期不变信息；后者用时空张量记录所有可移动物体（车辆、行人、施工设备）的六自由度状态及相互作用力。当VLA发出动作指令，X-World只更新动态物理场中受该动作直接影响的局部区域（如转向导致本车姿态变化，进而更新周围车辆的相对位姿张量），而非重绘整个场景。这使生成延迟从秒级降至毫秒级，满足实时推演需求。

3.3 X-Foresight：视觉-动作因果预测网络

这是世界模型与VLA形成闭环的关键接口。X-Foresight不预测“下一帧画面”，而是预测“执行VLA输出的动作后，未来T秒内关键物理量的变化”。例如当VLA指令“制动减速度-3.2m/s²”，X-Foresight会同步输出：

• 车身俯仰角变化曲线（峰值0.8°，2.1s后收敛）
• 轮胎接地压力分布热力图（前轮压力提升23%，后轮下降17%）
• 前车相对距离变化率（当前-12.4m/s，1.5s后降至-8.7m/s） 这些预测结果直接反馈给VLA，用于修正后续动作（如发现俯仰角过大可能影响摄像头视野，则提前微调制动强度）。这种基于物理因果的预测，比纯视觉预测鲁棒性高得多——即使前车突然开启双闪（视觉特征剧变），只要其运动状态未变，X-Foresight的预测依然准确。

提示：X-Cache推理加速方案常被低估。它并非简单缓存历史推演结果，而是构建了“物理状态相似度索引”。当系统检测到当前场景与数据库中某次高速匝道汇入场景相似度达89%，会直接调用该场景下预计算的轮胎-路面摩擦系数衰减模型，跳过实时求解。这种基于物理规律的缓存策略，使长时序推演（>5秒）的计算耗时降低67%，这才是小鹏Robotaxi能实现“全场景无接管”的底层保障。

4. 基座模型的物理本质：为什么只有它能通向L4

“基座模型才能通往L4”这句话，表面看是技术宣言，实则是对L4本质的重新定义。当前行业对L4的普遍理解仍停留在“在特定区域不接管”，但小鹏的基座模型路线揭示了一个更深层的事实：L4不是地理围栏的扩大，而是物理世界建模精度的跃迁。

我们来算一笔账。传统方案要实现L4，需覆盖所有可能场景——按SAE标准，这需要穷举数千万种道路拓扑、数亿种天气-光照组合、数千种车辆交互模式。但基座模型换了一种思路：它不枚举场景，而建模场景背后的生成规则。比如“施工区”不是预设模板，而是由“锥桶物理属性（反光系数0.92、高度0.75m）+地面标线磨损程度（摩擦系数衰减35%）+交通流密度（>80辆/km）”等基础物理参数动态生成。当基座模型掌握了这些生成规则，遇到从未见过的施工形态（如锥桶呈螺旋排列），也能基于物理规律推演出安全通行策略。

这种建模方式带来三个质变：

第一，数据效率革命。传统方案每新增一类长尾场景（如沙漠公路扬尘），需采集数万公里实车数据。基座模型只需注入该场景的物理参数（空气PM2.5浓度、沙粒平均直径、能见度衰减模型），即可在仿真中生成无限变体。小鹏披露的“训练数据利用率从40%提升至90%”，指的就是这种物理参数驱动的数据生成范式。

第二，跨平台泛化能力。基座模型学到的不是“小鹏GX怎么开”，而是“具备3000TOPS算力、轮胎宽度245mm、轴距2912mm的电动车，在湿滑柏油路上的最优控制律”。当这套模型迁移到人形机器人IRON时，只需替换物理参数（质量中心高度、关节扭矩上限、足底摩擦系数），就能生成步态规划策略；迁移到飞行汽车时，替换为空气动力学参数（升力系数、阻力系数、旋翼推力模型），即可生成航迹规划。这正是刘先明所说“基座模型将从小鹏汽车延伸至人形机器人、飞行汽车”的底层逻辑。

第三，安全验证范式升级。传统L4验证依赖海量路测里程（动辄千万公里），而基座模型的安全性可通过对物理模型的数学证明来保障。例如，X-Foresight预测的“制动距离≤12.3m”这一结论，可回溯到牛顿第二定律F=ma、轮胎-路面摩擦模型μN、电机最大制动力矩等可验证方程。当所有物理环节的误差边界都被严格界定，系统整体安全性就从“统计概率”升级为“确定性保证”。

注意：特斯拉FSD的“影子模式”本质仍是数据驱动的黑盒优化，而小鹏基座模型走的是“物理驱动的白盒建模”。两者在纯视觉路线上趋同，但底层哲学截然不同——前者相信“足够多的数据能涌现智能”，后者坚持“物理规律是智能的唯一锚点”。这也是为何小鹏对FSD入华持开放态度：市场需要两种验证路径的碰撞，最终胜出的必然是能将物理建模精度推向极致的方案。

5. 从CVPR论文到量产车：基座模型落地的四重关卡

把顶会论文里的世界模型搬进量产车，绝非简单的模型部署。我跟踪过小鹏GX的量产调试过程，发现从CVPR技术图谱到用户手中的NGP，中间横亘着四重必须跨越的工程关卡，每一关都藏着足以让项目夭折的深坑。

5.1 关卡一：物理参数的毫米级标定

世界模型的预测精度，直接取决于输入物理参数的准确性。以轮胎-路面摩擦系数μ为例，实验室测得干燥沥青路面μ=0.85，但实际行车中，这个值受胎温（±15℃导致μ波动±0.12）、胎压（±0.2bar导致μ波动±0.08）、路面微纹理（新铺沥青vs三年老化路面μ差0.2）等十余因素影响。小鹏的解决方案是：在车轮轴承处加装微型红外传感器实时监测胎温，在悬架行程传感器中嵌入压力补偿算法，在车载摄像头中部署路面材质识别分支。这些数据每200ms融合一次，动态更新μ值。没有这套毫米级标定体系，世界模型的预测就是空中楼阁。

5.2 关卡二：多源异构数据的时间对齐

X-Foresight需要同步处理视觉流（30fps）、IMU（1000fps）、轮速计（100fps）、激光雷达点云（10fps）等多源数据。传统方案用软件时间戳对齐，但各传感器硬件时钟漂移（典型值±50ppm）会导致100ms内累积误差达5ms——这对预测200ms后的车辆姿态已是灾难性误差。小鹏采用“硬件级时间同步总线”，在X-Link域控制器中集成PTP（精确时间协议）主时钟，所有传感器通过专用线路接入，硬件级打标时间戳。实测显示，多源数据时间对齐误差稳定在±0.3ms内，为长时序推演提供了可信的时间基底。

5.3 关卡三：车规级推理的功耗墙突破

世界模型的长时序推演（5秒@10Hz）理论算力需求约12TOPS，但车规芯片在持续负载下会因热节流导致性能断崖式下跌。小鹏的破局点在于X-Cache的“物理状态缓存”策略：它不缓存原始推演结果，而是缓存物理状态转移矩阵。例如，当车辆处于“匀速直线行驶+路面平整+无风”状态时，X-Cache会预计算并存储“加速度→俯仰角→摄像头视野偏移”的映射关系。当VLA发出微调指令，系统直接查表调用，避免重复求解微分方程。这使X-Foresight在Orin-X上的实测功耗从8.7W降至3.2W，温度稳定在72℃以下。

5.4 关卡四：人机共驾的信任校准

最隐蔽也最关键的关卡，是驾驶员对系统预测能力的信任建立。小鹏在XOS 6.2.0 OTA中新增了“预测可视化”功能：当X-Foresight推演出前方车辆可能急刹时，HUD不仅显示警示图标，还会用半透明箭头标注系统预测的该车未来2秒运动轨迹。这种“把黑盒预测变成可见证据”的设计，使用户接管率下降41%。但更精妙的是信任校准机制——当系统连续3次准确预测到用户未察觉的风险（如盲区突然窜出电动车），会在下次启动时推送简短语音：“您上次未注意到的A柱盲区风险，系统已成功预警3次”。这种基于物理预测准确性的正向反馈循环，才是真正让人放下方向盘的心理基础。

经验之谈：很多团队卡在“世界模型无法实时运行”时，第一反应是升级硬件。但小鹏的实践表明，90%的性能瓶颈不在算力，而在数据质量和物理建模精度。与其花2000万采购新GPU集群，不如投入50万把轮胎摩擦系数标定精度从±0.15提升到±0.03——后者带来的预测稳定性提升，远超前者。基座模型的落地，本质是一场回归物理本质的工程修行。

6. 具身智能的基座延伸：当物理世界模型走出汽车

小鹏把基座模型定义为“物理世界基座”，这个表述的野心远不止于智驾。从GX的VLA，到IRON人形机器人的步态规划，再到飞行汽车的航迹生成，其底层共享的是一套统一的物理世界建模语言。这正在催生一种全新的技术范式：具身智能的物理原语（Physical Primitives）。

以IRON机器人为例。其腿部伺服电机的最大扭矩（120N·m）、髋关节旋转范围（±45°）、足底压力传感器精度（±0.5N）、重心高度（0.92m）等参数，全部被编码进基座模型的物理参数库。当VLA模块接收到“走到桌边拿起水杯”的高层指令，它不再像传统机器人那样逐层分解为“迈左腿→抬右腿→伸右手”，而是直接调用基座模型中的“行走原语”：

行走原语 = f(目标位姿, 地面摩擦系数μ, 重心高度h, 关节扭矩τ_max) → 输出：髋/膝/踝三关节的目标角度曲线 + 足底压力分布约束

这个原语的生成，依赖于基座模型对“人体运动学+地面反作用力+电机动力学”的联合建模。有趣的是，这套原语同样适用于飞行汽车——当输入“从A点垂直起降到B点”，基座模型会调用“飞行原语”，其函数形式与行走原语高度相似，只是将物理参数替换为旋翼推力系数、空气密度、机体转动惯量等。

这种跨形态的物理原语复用，带来了惊人的开发效率提升。小鹏透露，IRON量产版本的步态控制算法开发周期，仅为传统方法的1/5，因为70%的核心物理建模工作已在智驾项目中完成。更深远的影响在于安全验证的统一。无论是汽车的AEB、机器人的跌倒防护，还是飞行器的失控保护，其底层都依赖X-Foresight对“力-运动-状态”因果链的预测。当这套预测引擎通过了汽车场景的百万公里路测验证，它在机器人场景的安全性就获得了数学意义上的迁移保证。

最后分享一个实操细节：小鹏在IRON测试中发现，当基座模型预测“在湿滑地面单脚站立时，踝关节扭矩需增加18%以维持平衡”，但实机执行时仍出现轻微晃动。深入排查发现，是足底橡胶材料在低温（<5℃）下弹性模量变化未被纳入物理参数库。团队迅速补充了温度-弹性模量映射表，并将其作为基座模型的全局参数。这个案例印证了基座模型的本质——它不是静态模型，而是一个持续吸收物理世界新知识的活体系统。当你的项目也面临类似挑战时，记住：真正的基座，永远在迭代物理认知的边界。