心智世界模型：下一代AI从预测物理走向理解意图

过去一年里，世界模型几乎是 AI 圈出现频率最高的词之一。视频生成项目用“预测下一帧”来证明模型理解了物理规律，强化学习团队拿它当模拟器降低试错成本，机器人方向拿它做操作规划。但如果你把这些场景放在一起看，会发现一个明显缺口：几乎所有世界模型都在回答“下一个画面会怎样”“物体下一时刻的位置在哪里”，几乎没有模型认真回答“这个智能体接下来想干什么”。

牛津和新加坡国立大学相关方向提出了一个更进一步的命题：下一代世界模型，很可能不是更大的视频预测器，而是“心智世界模型”——一个既能建模物理规律，也能建模其他智能体信念、欲望和意图的模型。这个转向不是把训练集从网络视频换成社交数据，而是在重新定义“世界”这个概念本身。物理世界只是“世界”的最表层，真正让人工智能系统具备社会协作能力、长期自主决策能力和安全交互能力的那部分“世界”，是看不见的。

所以今天不聊泛泛的趋势，想把话题收拢到几个具体问题：心智世界模型和现有世界模型到底差在哪，它的落地价值为什么不是锦上添花，以及作为工程师和研究者，今天可以怎么开始验证它。后面的内容不打算评价某一个具体模型，而是把这条技术路线摊开来看。

1. 先看一个缺口：世界模型可能漏掉了最重要的“世界”

1.1 现在被反复提到的世界模型，到底在建模什么

先说什么是世界模型。一个比较容易被接受的描述是：智能体在内部建立一个关于外部环境运行规律的模型，并且用这个模型来预测未来的状态，帮助自己做决策。它和单纯的大语言模型最大的区别在于，大模型更多是在学习语言符号之间的共现和逻辑模式，而世界模型强调对时空、因果、连续状态的预测。

最简单的一个场景是：你在一个强化学习环境里训练一个机器人，机器人如果知道“轮子往前走，墙会挡住它”，就可以在行动前做规划，而不是撞墙之后才学乖。这个“知道”本质就是内建了一个世界模型。很多实际工作也确实展示出了这种能力：输入一段视频，模型预测接下来几帧画面；输入一个操作动作，模型模拟出物体的位移；在虚拟环境里，模型学习状态转移函数。

但这里有一个值得停下来思考的问题：这些模型预测的是“实体状态”，不是“行为意图”。它能预测小球继续往前滚，不代表它能预测一个人停下来是想让路还是想拍照。它能把路上行人的下一帧位置预测得很准，但它不明白这个行人为什么掏出手机、为什么突然放慢脚步、为什么朝马路对面挥手。

注意：我们经常把“预测准确”和“真正理解世界”画上等号。但世界模型的核心价值不是让预测更逼真，而是让系统在未见过的场景里也能做出合适的决策。

1.2 物理世界的预测能力，不等于对世界全部的理解

当前世界模型的主要考核指标，集中在预测误差上。视频模型看 PSNR、SSIM、LPIPS，强化学习模拟器看状态转移误差，机器人模型看操作成功率。这些指标衡量的都是“物理世界”的表层一致性。

问题在于，真实世界里大量影响决策的因素都不在物理层。比如你在走廊里遇到一个朝你走来的同事，你不仅要预测他的身体轨迹，还要判断他是不是停下来了、是不是想和你说话、是不是没看到你。物体不会因为“看起来像在犹豫”而改变轨迹，但人会。心智状态不是物体的属性，而是智能体之间的软性约定。

如果世界模型只学习物体的物理规律，它面对复杂问题时就会像一个只会看路不看人的自动驾驶系统：交通标志都认得，但无法预判其他驾驶员会不会变道、行人会不会突然停下来打电话。换句话说，它缺的不是算力，而是对“另一个智能体的内部状态”的建模能力。

2. “心智世界模型”到底新在哪里：把意图当成建模对象

2.1 从“观察行为”到“解释行为”：心智理论进入 AI

在认知科学里，心智理论指的是推知他人心理状态的能力。小孩子大约在四岁左右开始明白“别人知道的可能和我知道的不一样”，然后才能解释为什么别人会做出奇怪的选择。这个能力是人类社会协作的基础。

“心智世界模型”这个方向的直接动机，就是把这种能力放进人工智能系统里。它要解决的核心问题并不是“下一帧长什么样”，而是“这个观察到的行为背后，藏着什么样的信念、欲望和意图”。比如两个人同时走到一扇门前，一个人停下来，另一个继续走。物理预测器只能看到位置变化，心智世界模型需要回答：停下来的人是不是在等对方先进去？继续走的人是不是没有看到对方？

这个区别很重要，因为很多高级决策不是建立在对物理状态的预测上，而是建立在对别人意图的判断上。机器人如果要和人协作，必须判断人的意图；Agent 如果要和其他 Agent 谈判，必须知道对手的偏好；自动驾驶如果要安全地汇入车流，必须预判其他司机的下一步动作。

2.2 物理循环和心智循环，需要同时转

把这个想法拆成系统结构，可以理解得更清楚。一个完整的心智世界模型至少包含两个循环。

第一个是物理循环。这是现有世界模型做得已经很成熟的部分：观测到环境状态，编码成内部状态表示，预测下一个环境状态，再根据目标选择动作。这个循环负责处理空间、时间、物体运动、物理约束。

第二个是心智循环。它的输入仍然是观测信息，但输出的不再是一帧图像，而是其他智能体的心智状态：他注意到了什么，他的目标是什么，他下一步会选择什么动作，甚至他知道些什么、不知道些什么。这个循环把“他人”当成一个需要建模的系统，而不是环境里的一堆障碍物。

两个循环不是分开跑的。机器人看到一个人停下来，物理循环负责算出这个人的位置距离自己多远，心智循环负责判断“他停下是为了让我先过，还是他看到了感兴趣的东西”，然后两个循环的结果一起进入决策器。如果只有物理循环，系统最多做到减速避让；有了心智循环，系统才能做到恰当地交互，比如稍微往前一步，而不是停在原地僵持。

2.3 心智世界模型，不等于“大模型具备心智”

现在谈到“AI 有心智”，很多人会联想到大语言模型是不是有了某种内在认知能力。心智世界模型和大模型讨论的其实不是一个层面。

大模型有关心智的讨论，更多是在问：模型是否从文本模式中涌现出类似心理推测的能力。这种能力通常是被动的、隐式的，取决于训练数据里有多少关于“他人想法”的描述。你问它“这个人为什么会这么做”，它能给出合理的解释，但这不意味着它在决策闭环中会主动使用这种推测来改变自己的行为。

心智世界模型则要把心智状态变成显式的建模对象。它需要明确地把“信念”“意图”“注意力”作为预测目标，可能需要单独的状态表征、独立的数据标注，以及专门的评估指标。你可以把它理解成：不只是让模型会输出一个像样的句子，而是让模型能够在决策闭环里，因为“预判了别人的意图”而采取一个不同的动作。

一个比较容易被误解的点：心智世界模型不是说模型真的拥有意识或情感，它只是在系统层面把“他人可能怎么想”当作一个可计算、可预测、可干预的对象。这个区别在做安全评估时很重要。

3. 如果真能落地，它会在这些场景里产生质变

3.1 机器人：不是避开障碍物，而是避开“正在犹豫的人”

传统机器人运动规划，大部分时间在解决避障问题。激光雷达看到一个点云，对应一个“障碍物”，规划器绕开它。但这个框架在面对人时天然不够用，因为人不是静态障碍物，人有行为意图，而且人的意图可以通过姿态、视线、步伐节奏传递出来。

如果机器人具备心智世界模型，它在走廊里遇到一个人，可以做到：先观察人的姿态和视线方向，推断对方是不是注意到了自己；再根据对方手里是否拿了重物、是否放慢速度，推断对方会不会让路；最后再决定机器人是继续直行、靠边等待，还是主动从侧面通过。

这些动作在人类看来很简单，但背后要处理的变量很复杂。它要求系统把“人是活的”这件事当成核心建模前提，而不是把它压成一个避障函数。否则，机器人只能在“停下来等”和“硬挤过去”之间二选一，永远学不会从容地让路。

3.2 AI Agent：从单智能体决策到多智能体协作

另一个重度受益场景是多智能体协作。现在很多 Agent 系统是单智能体在复杂工具之间做规划，用户给目标，Agent 调工具、生成结果。一旦把场景改成“多个 Agent 同时存在”，比如在一个工作流里有负责不同职能的 Agent，它们之间如果只能通过消息文本进行显式沟通，效率会很低，而且很容易在一步关键信息没说清楚时全盘卡住。

有了心智世界模型，一个 Agent 可以保持对其他 Agent 的“隐含状态估计”：它应该已经知道什么，它可能还不知道什么，它下一步会优先做什么。这样的系统可以更早地发出协作请求，或者自动补位，而不是每次都要等一个显式消息。

这个方向还延伸到市场模拟、谈判、交通流控制等场景。多个智能体共享一个物理环境，同时各自拥有不完全相同的观测信息和目标，这正是心智世界模型最合适的实验场。

3.3 自动驾驶和“社会交通”

一个经常被低估的场景是自动驾驶。当前主流自动驾驶系统对交通参与者的建模，更多停留在运动轨迹预测层面：这个行人会继续直走还是转弯，这辆车接下来会不会换道。这些预测能力已经很强，但仍然是“把对方当成物理对象”在预测。

如果加入心智维度，系统就需要考虑更多社会性信息：前车突然减速，可能是因为前方有紧急情况，也可能只是驾驶员在犹豫路线。后车频繁按喇叭，说明它希望我们尽快启动。路口车辆缓慢移动，可能是对方在让行，也可能是在示意我们先行。

这类判断不是靠像素级别的预测就能解决的，它需要系统具备类似人类司机的“路感”。心智世界模型如果能在这些场景里工作，自动驾驶的决策会从“功能安全”进一步走向“社会安全”。

4. 从论文方向到工程实现，至少要跨过五道坎

这部分的描述不会去假设某个具体模型已经成功，而是把工程上会遇到的问题按顺序摊开。你可以把它当成一个排查清单，后面踩坑时可以对照着看。

4.1 第一道坎：心智状态怎么编码

物理状态用坐标、速度、角速度、图像特征都能表示，但“信念”怎么表示？“意图”怎么表示？“注意力”怎么表示？

比较常见的思路是定义一组显式变量，比如把其他智能体的信念建模成“对某事实是否知道的概率”，把意图建模成“目标集合上的分布”，把注意力建模成“对当前视野中不同对象的注意力权重”。这些变量要能和神经网络的特征向量连接起来，形成可微的计算路径。

难点在于，心智状态天然不是完全可观测的。你只能通过行为、表情、语言、上下文去推断，不能像测物体位置一样直接测出它的“真实目标”。所以编码方式必须支持不确定性，不能过早地把估计压成一个确定性答案。

4.2 第二道坎：数据从哪里来

训练心智世界模型，需要大量“行为-意图-信念”三元组数据。也就是说，你要有一个人或一个智能体的行为记录，还要标注他当时的真实目标和信念。这种数据在真实世界里非常贵，很难大规模采集。

相对可行的路径是先做仿真。在多智能体仿真环境里设置不同目标的个体，记录它们的行为，并且能从环境中直接读出它们的目标和观测范围。这样模型可以学习“从行为反推意图”的映射。然后再迁移到真实世界数据上，用少量人类标注做微调。

如果你在准备数据，有一个原则比较重要：不要只存“最终行为”，要存观测信息。模型需要知道某个智能体当时看到了什么、没看到什么，否则它无法学习“对方因为不知道某个信息所以做出了错误选择”这类因果。

4.3 第三道坎：预测目标怎么定

世界模型通常用“下一帧像素”或者“下一状态误差”作为训练目标。心智世界模型如果也这么做，很容易退回成物理预测器。真正需要预测的，至少包括下面几类：

• 其他智能体的下一步动作。
• 其他智能体当前的目标估计。
• 其他智能体自身对环境的信念变化。
• 整个交互过程中，双方行为如何互相影响。

这些目标有的适合作为分类任务，有的适合作为回归任务，有的适合通过对比学习间接建模。实际选择要先根据任务场景定，没有统一的配方。比较稳妥的做法是同时保留两组目标：一组面向行为层面的预测，一组面向意图层面的推断，再根据任务需求调整损失权重。

4.4 第四道坎：验证环境够不够

需要一个能同时提供物理复杂度和心智复杂度的环境。纯静态场景不行，因为缺乏行为变化；纯群体仿真又可能太卡通，不容易迁移到真实世界。

比较合适的验证环境，应该具备几个条件：

• 可以设置多个智能体。
• 每个智能体有独立的目标和观测范围。
• 环境能够记录“别人怎么看它”的信息，作为调试输出。
• 任务本身要能被分解成多个连续决策步骤。

如果环境只奖励最终结果，不奖励过程推断，心智预测能力很可能学到的是表面捷径，最后表现会非常虚。所以评估时除了任务回报，还要单独考核预测出的意图和真实意图是否一致。

4.5 第五道坎：错误归因怎么办

心智世界模型一旦被放进真实系统，最危险的情况不是它预测不准，而是它会“自信地误解别人”。比如机器人把一个人短暂的驻足理解成“他想让路”，结果主动通过，但那人其实只是停下来系鞋带。

这类错误在人类交互中也存在，但人类通常会用更保守的假设来规避风险。心智世界模型需要显式引入不确定性估计和代价矩阵：如果误解他人的代价很高，就应该在模糊情况下采取更保守的动作，或者主动询问确认，而不是强行从观察结果里推断。

工程上的建议：把心智预测结果当成一项带置信度的参考信息，而不是一个确定事实。决策器要能区分“我有把握”和“我猜的”。

可以整理成一个简单表格，方便对照：

5. 给研究者和工程师的落地建议：先跑通一个“小心智闭环”

如果这个方向吸引了你的兴趣，其实没有理由等项目完全成熟。从工程上，可以先从最小规模验证开始。思路很简单：把“推断意图”和“改善决策”放进同一个闭环，而不是分开做。

5.1 一个可以立刻开始的最小实验

最简单的实验场景，是二维网格世界。放两个智能体，其中一个带一个隐藏目标，另一个不直接知道对方目标，只能通过对方的移动轨迹来推断。你要训练一个“心智预测器”，输入观测历史和对方的部分可见状态，输出“对方接下来最可能去哪里”。

然后把这个预测器接入第一个智能体的决策中：当预测结果显示对方会先到达一条窄路时，第一个智能体可以选择绕路，而不是直接挤进去。这个实验规模不大，但已经能检验一个完整链条：观测、推断意图、预测行为、改善决策。

训练目标组合变化示意如下，不是完整代码：

输入: - 当前 Agent 的历史观测 o_1:t - 对方可见轨迹 h_1:t 输出: - 对方意图分布 P(g) - 对方下一步位置分布 P(a_t+1) 损失: L = 意图损失 + 行为预测损失 = BCE(P(g), g_true) + CrossEntropy(P(a_t+1), a_t+1_true)

这里的关键是同时优化意图损失和行为预测损失。如果只优化行为预测，模型即使学到了意图信息，也可能选择图省事直接用运动趋势硬拟合，不会真正建立心智层面的表征。

在实现时，还有几个细节值得注意：

• 不要只让模型预测“下一步位置”，要让它同时预测“对方目标可能是什么”。这样可以观察模型是否学到语义层面的意图，而不只是运动趋势。
• 环境里要记录真实目标作为评估标签。只有拿到真实标签，你才知道预测器学到的是不是表面模式。
• 先控制环境复杂度，再做扩展。一上来就放很多智能体，很难判断预测误差来自模型能力还是环境噪声。

5.2 如何评估模型的“心智预测”能力

任务回报不能完全说明问题，因为系统可以通过超级保守的策略“蒙混过关”。比如机器人一直停在原地不动，既不会撞到人，也不会和人发生冲突，但任务回报也很低。所以比较有效的做法是单独设计心智预测任务。

评估时可以分成几个维度：

• 意图预测准确率：模型预测的目标，和真实目标一致的概率。
• 信念推断能力：当对方没有看到某个信息时，模型能不能预测出对方会表现得“像不知道一样”。
• 行为预测的校准度：模型对“对方下一步动作”预测的置信度，是否和真实概率匹配。
• 决策收益：加入心智预测后，任务成功率、碰撞次数、协作效率是否改善。

如果要长期研究，建议固定一套评估流程，每次改动模型后在同一个环境里跑。否则很难积累出可对比的结论。训练日志里也不要只记 loss，要同步记录意图预测准确率和行为预测准确率这两条曲线，方便判断模型是“真的在学心智”还是“只是在拟合行为”。

5.3 有必要进行的边界检查

心智世界模型不是万能钥匙。在投入之前，先判断场景是否需要它：

• 如果目标环境里只有一个决策主体，其他对象都是静态障碍物，那么不需要心智世界模型，物理世界模型就够。
• 如果环境里有多个主体，但它们的行动对当前系统没有影响，也不需要建模意图。
• 如果环境里主体的行为高度依赖对其他主体的预测，这时候心智世界模型才是值得投入的方向。

不要为了“听起来高级”而硬塞意图建模。它带来的额外复杂度，包括隐私风险、算力开销、训练数据成本，都是不可忽视的。从工程策略上，更稳妥的推进方式是：先在一个明确需要意图预测的闭环里验证收益，再决定是否推广。

6. 我的判断：下一代世界模型，拼的是预测“看不见的东西”

把前面的讨论收拢回一个判断：下一代世界模型的竞争点，很可能不是画面预测的逼真程度，也不是环境模拟的物理精度，而是模型能不能理解“另一个智能体眼中看到的世界”。

牛津和新加坡国立大学相关研究方向提出的心智世界模型，本质上是在为人工智能补上一块过去长期缺席的能力拼图。物理世界模型解决的是“世界怎么运行”，大语言模型解决的是“人类语言如何描述世界”，心智世界模型要解决的是“其他智能体如何理解世界”。这三者不是替代关系，而是共同构成一个更完整的学习和决策系统。

6.1 心智世界模型的长期价值

如果你在工业界做应用，可以把这个方向理解为一个新的技术杠杆：它能帮助机器人、自动驾驶、多智能体系统摆脱“把一切当障碍物”的局限，真正进入社会性场景。如果你在学术界做研究，这是一个既能做扎实实验，又有长期深挖价值的主题。

但它带来的一个更深层变化，是让我们重新思考“世界”的定义。过去我们谈世界模型，默认“世界”是一堆实体、空间、时间、物理规则。心智世界模型提醒我们，对人类而言，有意义的“世界”永远包含了他人。一个人看到的世界，不只是地理空间里的物体集合，还是一张由他人意图和信念组成的关系网络。AI 如果要进入人类生活，它需要的不只是物理模拟能力，还需要这张关系网络的建模能力。

6.2 下一步最值得做的事

当前阶段，心智世界模型还是一个早期方向，不是成熟产品。与其等一个完美框架落地，不如先从带有隐藏目标的网格世界实验开始，亲手验证一次“从观察行为到推断意图再到改善决策”的闭环。这个闭环一旦被跑通，你对它的理解会超过任何一篇论文摘要。

真正难的不是预测物理世界，而是理解另一个智能体眼中的世界。后者会决定未来的 AI 是只会聪明地做事，还是能聪明地与人同行。