盛趣游戏Alaya Lab打造“世界生成器“：一个AI驱动的无限游戏世界

这项由盛趣游戏旗下Alaya Lab团队完成的研究，以预印本形式于2026年7月7日发布在arXiv平台，论文编号为arXiv:2607.06291v1，研究方向归属于计算机视觉领域。感兴趣的读者可通过该编号在arXiv上查阅完整论文。

**游戏世界为什么这么贵、这么难改？**

做过游戏、玩过游戏或者只是旁观过游戏开发过程的人，多少都会有一个感受：一款3D游戏的世界为什么那么精细，却又那么"死板"？每一棵树、每一栋建筑、每一套怪物的行为逻辑，背后都是一群美术、程序、策划日以继夜的劳动成果。更让人头疼的是，这些内容一旦做进去，要修改就得把整条流水线重新走一遍。想在已经上线的游戏里换个地图风格，或者临时加一种新的战斗技能，成本之高往往超出普通玩家的想象。

Alaya Lab的研究者们想换一种思路：既然AI已经能够生成逼真的视频，能不能让AI直接"演出"游戏世界，而不是由人类一笔一笔地画出来？玩家往前走一步，AI就预测下一帧画面应该是什么样；玩家挥剑攻击，AI就根据这个动作即时渲染出对应的效果。这样的系统不需要预先设计好每一个角落，世界是在玩家探索的过程中被"生成"出来的。

这套系统被命名为**AlayaWorld**，它是一个完整的开源框架，覆盖了从数据准备、模型训练、推理加速到实际部署的全流程。更重要的是，它能够在普通电脑上以720p分辨率、每秒24帧的速度实时运行，让玩家真正感受到"即时生成"的世界。

---

一、先理解这件事到底难在哪里

用一个贴近生活的类比来铺垫一下背景会更容易理解：普通的视频生成，有点像让厨师按照固定菜谱做一道菜，菜谱写清楚了，端出来的东西也基本是确定的。但交互式的游戏世界生成，更像是一位厨师在一场完全即兴的烹饪秀里，根据现场观众随时喊出的要求——"加辣""换成素食""来点汤"——当场调整下一道菜，而且每一道菜都要和前面的风格、口味保持连贯，不能忽咸忽淡。

研究团队把这件事面临的困难拆解为四个核心问题。

第一个问题叫**控制**：玩家能不能真正自由地探索和行动？不是只能往前走，而是可以随时转弯、可以施法、可以召唤怪物，行为不应该被预设的物理规则所约束。

第二个问题叫**一致性**：如果玩家在某个地方看到了一座古庙，离开之后绕了一圈再回来，那座古庙还应该是同一座，而不是突然变成了一片草地。这听起来理所当然，但对AI来说非常困难——它"记住"已经生成过的画面，本身就是一项艰巨的工程。

第三个问题叫**稳定性**：AI生成视频的方式是"自回归"的，也就是说，每一帧都是根据前面的帧预测出来的。就像传话游戏一样，一开始传出去的信息只有轻微失真，但经过几十次、几百次的传递，最终可能面目全非。如何让AI在生成了几分钟甚至更长的视频之后，画面质量依然不崩塌，是一个真实存在的技术难题。

第四个问题叫**实时性**：前面三个问题如果都解决了，但系统每生成一秒的画面需要等待十秒，那对于玩游戏来说依然毫无实用价值。系统必须足够快，快到玩家感觉不到延迟。

AlayaWorld的整个设计思路，都是围绕着回应这四个问题展开的。

---

二、玩家怎么控制这个世界：摄像机与文字指令

游戏里的"移动"本质上是摄像机视角的变化——你往前走，意味着镜头向前推进；你转头，意味着镜头跟着旋转。让AI理解并执行这些摄像机指令，是解决"控制"问题的第一步。

研究团队梳理了学术界在这个方向上积累的三类方法，最终选择了一种兼顾精准性和效率的组合方案。

第一类方法是把摄像机参数直接当成一个"条件信号"喂给AI。打个比方，就像给厨师一张纸条，上面写着"今天要做偏甜的"，然后让厨师自己理解这意味着什么、怎么体现在菜里。斯坦福等机构提出的CameraCtrl就是这个思路，用一种叫做"普吕克射线嵌入"的数学工具把摄像机的位置和朝向编码成数字，再注入到AI模型的注意力层里。这类方法灵活，但AI能不能准确"读懂"这张纸条，取决于它训练得够不够好。

第二类方法是把摄像机的几何信息直接嵌入到AI模型的内部结构里。这就像是直接改造厨师的大脑，让他天生就对"甜度信号"特别敏感，而不是靠后天的文字指示。华为等机构提出的PRoPE方法，把摄像机的视锥（包括内参和外参）编码成一种"投影相对位置编码"，让AI在处理每一个图像区域时，都天然考虑到该区域的几何位置。还有一种思路是用一种叫AdaLN的轻量级"归一化调制"方式，把摄像机信息注入到AI的特征层中，计算开销极小。

第三类方法是最直觉化的：先把场景的三维结构估计出来，按照玩家要去的视角重新渲染一张参考图，再让AI以这张参考图为基础进行生成。英伟达提出的GEN3C就是这个思路——维护一个三维点云"缓存"，每次生成新画面时先从这个缓存里渲染出当前视角下的参考画面，AI只需要负责"补全"那些参考图里看不到的部分（比如被柱子遮挡的墙角）。这种方法控制最精准，但计算链路更长。

AlayaWorld的选择是把第二类和第三类组合起来。一方面，维护一个三维缓存，并按玩家的目标视角渲染出参考画面，给AI提供具体、直观的视觉证据；另一方面，通过轻量的AdaLN调制方式向AI骨干网络注入摄像机信息，让模型在内部也具备视角感知能力。这两条路径分工明确：三维缓存负责"你之前看到过什么、现在从这个角度看应该长什么样"，AdaLN调制负责"你当前的摄像机姿态是什么"。两者相互配合，既保证了视角跟随的精准度，也避免了过重的计算负担。

除了摄像机的移动，AlayaWorld还支持另一种更自由的交互方式——**文字指令驱动的即时动作**。玩家可以在游戏进行中随时输入新的文字描述，比如"召唤一条火龙"或者"开始下雨"，系统会在当前生成片段结束之后的下一个"片段"里，切换到这个新的文字描述来生成内容，而不需要把整个游戏视频从头重新生成一遍。这个机制被称为"提示词切换"，在技术层面它和一些图像编辑工作中的"注意力层提示词编辑"思路是一脉相承的。这意味着玩家的每一次文字指令，都能在不到一秒的延迟后反映在画面上，真正实现了"说什么、生什么"的即时交互。

---

三、如何让AI"记住"它之前生成的世界

现在来到一致性问题，也就是那个"离开再回来，古庙还是古庙"的难题。

AI生成视频时的基本工作方式，是每次看到最近的一小段视频，然后预测下一段。就像一个厨师只能记住最近三道菜的味道，然后决定下一道菜的调味——如果他在第一道菜里放了很多花椒，但第三道菜之后这段记忆就"过期"了，等玩家绕了一大圈回到同一个地方，他早就忘了那里应该是什么风格。

研究团队把解决这个问题的各种方法，按照"用什么方式索引历史记忆"分成了两大类。

**按时间索引的记忆**，是按照"先后顺序"来保存历史：离现在越近的帧被记住的可能性越高，时间越久远的帧越容易被遗忘。这类方法的代表包括直接把过去的帧全部保留（代价是随着时间推移内存会越来越大）、把历史帧压缩成一个紧凑的"摘要"（比如FramePack这类方法，把大量历史信息打包进一个固定大小的预算里）、以及通过一种叫"状态空间"的循环计算结构隐式地传递历史信息。这类方法擅长维持短期的动态流畅性，但对于"玩家离开很久之后再返回"这种场景，时间越久遗忘越多，本质上无法保证一致性。

**按空间索引的记忆**，则是按照"在哪里看到的"来组织历史：同一个地点的记忆，无论是多久以前观察到的，都应该可以被找到并拿来参考。这类方法里，比较轻量的是WorldMem（把历史帧和对应的摄像机位姿一起存储，用空间重叠程度来检索）；更重量级的是GEN3C这类基于三维点云的方案，把过去生成过的每一帧都"反投影"到三维空间，形成一个持续更新的三维场景缓存，下次访问同一位置时就从这个缓存里渲染出参考图。

AlayaWorld的选择是把这两类记忆机制结合起来使用。三维缓存负责空间层面的持久性——哪里有一根柱子、哪里有一片水池，这些几何和外观信息被锚定在空间坐标里，不会随时间流逝而消失。但三维缓存有一个天然的局限：它只能记住静态的结构，记不住动态的变化——比如刚才在广场里奔跑的一群NPC，或者刚刚发生的一场爆炸效果。为了补齐这个短板，研究团队额外引入了一个历史帧压缩模块（参考了Frame Preservation这一方法），把最近一段时间的帧历史压缩成一个轻量的嵌入向量，专门用来捕捉近期的动态变化和全局叙事连贯性。两套机制各司其职，共同构成了AlayaWorld的记忆系统。

---

四、如何防止AI在长时间运行后"越走越偏"

稳定性问题，或者说"长时间生成不崩塌"的问题，其根源在于一种叫做**暴露偏差**的现象。

训练AI的时候，研究者们给它展示的都是干净、高质量的视频帧——相当于让厨师在练习时用的都是最好的食材。但实际使用中，AI会基于自己之前生成的帧来预测下一帧——那些帧已经包含了一定程度的误差和瑕疵，相当于厨师突然被要求用自己上一道菜的残渣来做下一道菜。随着时间推移，误差像滚雪球一样越来越大，画面逐渐偏离正常轨道，出现模糊、重复、风格漂移等各种问题。

学术界对这个问题提出过多种应对方向。一种是改变训练方式——让AI在训练阶段就接触自己生成的、带有瑕疵的帧，而不是只看干净的标准答案，从而学会在不完美的输入条件下也能输出稳定的画面，这叫Self-Forcing。另一种更系统的方案叫做"错误回收微调"：专门收集AI在长时间运行中积累的误差，把这些误差作为带标签的"扰动样本"注入训练流程，让AI学会识别并纠正这类误差。还有一种思路是从生成调度上入手——不严格按照时间顺序一帧接一帧地生成，而是先生成稀疏的关键帧作为"锚点"，再填充中间帧，这样误差不会无限制地向后传播。

AlayaWorld的应对策略基于Helios这项研究的思路，把稳定性作为一个**训练时的鲁棒性问题**来处理。研究团队在训练中主动向AI展示"已经发生漂移的历史帧"，让模型习惯于在不完美的历史记录下继续生成合理的内容。更进一步，AlayaWorld引入了一个**错误银行**机制：把AI在长时间运行中积累的各种典型误差收集起来，保存成一个"错误库"，在训练时把这些误差样本随机注入到训练数据的记忆条件和预测目标中。与一些只把错误注入"预测目标"的方法不同，AlayaWorld同时把错误注入了"记忆条件"和"预测目标"——这模拟的是更真实的推理场景：不仅要预测的内容本身可能有误差，连用于条件的历史帧也可能是有问题的。通过这种双向训练，模型不仅学会了"如何从一个干净的状态继续前进"，也学会了"如何在一个已经有点乱的状态下稳住"。

---

五、怎么让这一切跑得足够快

前面讲的三个问题，都关乎生成内容的质量。但再好的内容，如果需要等待十秒才能看到一秒的画面，对于交互式游戏来说也是毫无意义的。实时性，是把以上所有技术变成可玩产品的最后一道关卡。

研究团队把实时性分成了两个维度的延迟来分别处理。

第一个维度是**视觉延迟**，也就是从系统决定生成到画面出现在屏幕上需要多长时间。降低视觉延迟的核心手段是减少每次生成所需的计算步骤。扩散模型（Diffusion Model）的工作原理是从一张随机噪声图开始，反复"去噪"几十步甚至上百步，才能得到最终的清晰画面——每一步都需要一次完整的模型计算，步骤越多越慢。为了解决这个问题，研究者们发明了一类叫做"知识蒸馏"的技术：用一个慢但高质量的"教师模型"来指导训练一个快但同样高质量的"学生模型"，让学生模型只需要四步甚至一步就能达到教师模型几十步的效果。AlayaWorld采用了其中一种叫DMD的分布匹配蒸馏方法，把每个片段的生成步骤压缩到四步，这是实现实时渲染的关键技术基础之一。

第二个维度是**语义延迟**，也就是玩家输入了新的指令之后，画面需要多长时间才能反映出来。对于流式生成的系统来说，如果AI正在生成一段很长的视频片段，那么新指令就只能等到整段视频生成完之后才能被采纳，这段等待时间就是语义延迟。AlayaWorld的解决方案是让每次生成的片段非常短——大约一秒钟的视频对应一个生成单元——这样玩家的新指令最多只需要等待一个片段的时间就能生效。再配合前面提到的"提示词切换"机制，在片段边界直接替换文字条件而不重新生成整个序列，交互的响应速度就能真正达到"说变就变"的程度。

整套运行配置是这样的：AlayaWorld在LTX-Video 2.3这个开源视频生成模型的基础上进行了微调，以720p分辨率、24帧每秒的速度进行自回归生成，每个片段对应约一秒的视频，每次生成使用四步去噪，整体延迟控制在可交互的范围内。

---

六、实际效果怎么样

研究团队对AlayaWorld进行了多个维度的验证，并与目前其他代表性的交互式世界模型进行了对比。

在摄像机控制方面，研究者展示了在多种不同场景下（包括室内、室外、第一人称和第三人称视角）的生成效果，AlayaWorld能够准确跟随指定的视角运动，同时保持场景的几何合理性和外观连贯性，不会因为视角变化而出现建筑物扭曲或地面穿帮。

在即时动作方面，研究者展示了通过切换文字指令来触发不同事件的效果，包括在沙漠场景中触发法术光效、在寺庙前召唤效果，以及切换到不同的天气和氛围。切换发生在片段边界，过渡平滑，不影响已经生成的内容。

在一致性对比方面，研究团队设计了"离开再返回"的轨迹测试：让摄像机先离开一个区域，经过若干个片段的探索后再回到原地，观察返回时的场景是否与离开前一致。与Hunyuan-World 1.5和LongStar-Post等对比模型相比，AlayaWorld在返回时能保持更高程度的几何布局和纹理一致性，其他模型则表现出不同程度的场景"重塑"现象——比如家具位置改变、画作内容变化等。

在长时程生成方面，研究者展示了连续生成一分钟视频的效果，覆盖多个不同场景的切换，视觉质量在整个过程中保持稳定，没有出现明显的模糊化或重复帧现象。

还有一项颇为直观的演示：研究者让完全相同的导航轨迹在七种不同的视觉风格下分别生成，包括真实感风格、我的世界像素风、水墨画风、油画风、赛博朋克风、像素艺术风，以及塞尔达传说风格。结果显示，尽管七个版本的画面风格差异极大，但场景的几何结构、摄像机路径和语义内容高度一致——同一棵树出现在同一个位置，同一条路以同样的走向延伸，只是"穿了不同的衣服"。这说明AlayaWorld的控制信号能够跨风格稳定地起作用，不会因为换了画风就丢失对内容的把控。

---

七、这个项目的开放程度和未来计划

AlayaWorld定位为一个全栈、开源、长期维护的项目，意图为视频世界模型这个领域提供一个可复现的基础平台。

"全栈"意味着它覆盖了从原始视频数据的清洗和标注，到模型架构设计、分布式训练配置、推理加速实现，再到实际部署服务的每一个环节，而不只是提供一个训练好的模型权重。"开源"意味着代码、训练流程、评测工具和文档都会对外公开。"长期维护"则意味着这不是一篇发完论文就搁置的工作，团队计划持续迭代和改进。

论文在发布时（2026年7月7日）说明，完整的技术细节、实验数据和代码库计划在7月中旬正式发放。对于想亲自实验或在此基础上开展新研究的开发者和研究者来说，这是一个值得关注的时间节点。

---

说到底，AlayaWorld做的这件事，是在尝试改变"游戏世界从哪里来"这个根本性的问题。传统游戏的世界是人工搭建的，固定、昂贵、难以修改；AlayaWorld的世界是AI在玩家探索的过程中即时生成的，理论上可以无限延伸、随意改变风格、以极低的成本适配各种场景需求。当然，目前这套系统距离取代一款成熟3D游戏的体验还有相当的距离，在复杂动态物体的长期追踪、精细的物理交互、以及高度个性化的游戏系统设计方面，还有大量问题等待解决。但它提供了一个可用的、开源的起点，让更多研究者可以在这个方向上接力探索。对于具身智能（让机器人在虚拟环境中学习操作技能）这个领域来说，AlayaWorld能够生成多样化的真实感场景这一能力，也可能带来独立于游戏之外的应用价值。一个值得思考的问题是：如果未来的游戏世界是AI根据每个玩家的行为实时生成的，那么所谓"游戏设计"的本质，会不会从"设计一个固定的世界"变成"设计一套AI生成世界的规则"？

有兴趣深入了解的读者可以通过arXiv编号2607.06291查阅完整论文，或访问项目主页获取更多演示材料。

---

Q&A

Q1：AlayaWorld和普通视频生成模型有什么区别？

A：普通视频生成模型是按照固定指令一次性生成一段视频，没有交互性。AlayaWorld则是一个实时交互系统，玩家可以通过摄像机移动和文字指令即时影响下一秒的画面内容，类似于一个由AI驱动的即时渲染引擎，而不是一个视频播放器。

Q2：AlayaWorld用到的"三维缓存"是怎么帮助记住场景的？

A：三维缓存的工作方式是把AI已经生成过的每一帧画面，通过深度估计"反投影"到三维空间里，形成一个持续积累的点云地图。当玩家返回曾经到访过的区域时，系统从这个三维地图中按当前视角重新渲染出一张参考图，给AI提供"这个地方之前长这样"的视觉证据，从而保证场景的一致性。

Q3：AlayaWorld能用于游戏之外的领域吗？

A：可以。研究团队明确提到了具身智能和机器人模拟场景。由于AlayaWorld能够生成多样化的真实感交互环境，包括室内外场景和不同风格，它可以作为虚拟训练平台，让机器人或AI智能体在不接触真实物理世界的情况下学习各种操作和导航技能。