当前位置：首页 > news >正文

AI驱动Unity程序化场景生成：从提示词到分层技术实现

news 2026/7/11 7:05:20

1. 项目概述：当AI提示词遇见Unity程序化生成

最近在捣鼓一个挺有意思的项目，核心就是怎么用一句人话，比如“一个被藤蔓缠绕的古老石塔，矗立在雾气弥漫的沼泽边缘”，让AI和Unity联手，自动生成一个包含地形、植被、建筑甚至氛围的完整3D场景。这听起来有点像魔法，但背后其实是“AI驱动”与“程序化生成”两种技术思路的深度融合。传统程序化生成，比如用Perlin噪声做地形，用Wave Function Collapse摆房子，规则都是开发者预先写死的，调整起来很麻烦。而AI，特别是扩散模型和大型语言模型，能从自然语言中理解意图并生成内容。这个项目的目标，就是把AI的理解力和创造力，注入到Unity程序化生成的可控管道里，实现从“提示词”到“分层技术实现”的完整工作流。

这不仅仅是做个玩具。对于独立开发者、小型团队，甚至是大型项目的前期原型阶段，价值巨大。想象一下，策划案里一段场景描述，几分钟内就能变成可游走的白模关卡，快速验证氛围和布局；或者为开放世界游戏生成大量不重复的环境细节，极大地提升内容生产效率。整个过程，我们追求的不是“一键出片”，而是建立一个分层、可控、可迭代的“生成管线”。从最宏观的地形轮廓，到中观的建筑布局，再到微观的植被散布和材质细节，每一层都能被AI驱动，同时也都能被人工干预和调整。接下来，我就结合自己的实践，拆解一下这套系统的核心设计、关键技术与那些踩过坑才得来的实操经验。

2. 核心架构与分层设计思路

整个系统的设计核心是“分层”与“解耦”。我们不能指望用一个AI模型、一句提示词就直接吐出完美的、带碰撞、可交互的Unity场景。那既不现实，也不可控。合理的做法是将场景生成分解为多个层次，逐层构建，每一层都可以采用不同的AI技术或程序化方法，并且上层的结果可以作为下层的输入或约束条件。

2.1 四层生成结构

在我的实现中，主要分为四个逻辑层：

概念与布局层：这是最顶层，负责理解宏观提示词并生成2D规划图。输入是文本提示词，输出可能是一张语义分割图、一张高度图草图，或者一个标记了不同区域（如森林、湖泊、山脉、建筑区）的2D网格。这一层通常由文生图模型或经过微调的视觉模型来完成。
地形与地貌层：根据布局层输出的2D信息，生成具体的3D地形网格。例如，将语义分割图中的“山脉”区域对应到更高的地形高度，将“湖泊”区域对应到低洼且平坦的区域。这一层结合了AI生成的基础数据和传统的程序化地形技术（如噪声函数、侵蚀模拟）进行细化。
资产放置与实例化层：在地形的基础上，放置具体的3D模型资产，如树木、岩石、建筑、桥梁等。这一层的核心是“根据语义放置”。AI（如图像识别模型或定制算法）会分析地形层的特征（坡度、高度、区域类型）和布局层的语义信息，决定在何处放置何种资产，并应用随机变换（位置、旋转、缩放）以实现自然变化。
材质与氛围层：为地形和资产赋予材质、设置光照、雾效、后期处理等，奠定场景的整体视觉基调。这一层可以利用文生图模型生成风格化的纹理，或使用AI来推荐并配置一套匹配提示词氛围的Unity光照与后处理方案。

2.2 技术选型与管线连接

每一层都有多种技术选项，关键在于如何将它们串联成一个自动化或半自动化的管线。

布局层：我试验过直接使用Stable Diffusion配合ControlNet（如Canny、Scribble或更高级的语义分割模型）来生成带控制信息的草图。更专业的做法是使用场景图生成模型，直接输出结构化的布局描述文件（JSON格式），明确对象类型、位置范围和粗略关系。
地形层：Unity原生的Terrain系统或更先进的Mesh Terrain是承载的基础。AI生成的灰度图（高度图）可以直接应用于Terrain。关键在于如何将AI输出的、可能很“艺术化”的图片，转化为地形系统能用的、数据连贯的高度图。这里需要一些图像处理技巧，如高斯模糊、对比度调整和数值重映射。
资产层：这是程序化生成的传统强项。我们可以使用Unity的Prefab系统和脚本化对象来定义资产库。放置逻辑可以通过Unity的Job System和Burst编译器编写高性能的放置算法，根据地形信息进行批量实例化。AI的作用在于优化放置规则，例如，通过机器学习模型学习“什么样的地形特征下，树木的分布密度和种类应该是怎样的”。
氛围层：Unity的Render Pipeline和Post-Processing Stack是关键。可以尝试用AI工具生成HDRi环境贴图，或使用文本描述来驱动Shader Graph参数，实现动态的材质效果变化。

注意：完全端到端的AI生成目前仍不成熟，尤其是在需要精确碰撞、游戏逻辑交互的场景中。因此，我们的架构必须是“AI引导，程序化落实，人工可调”。在管线中设计多个“检查点”和“参数注入接口”至关重要，允许开发者随时中断自动流程，手动调整不满意的地方，再继续后续流程。

3. 关键技术点深度解析

3.1 提示词工程与语义解析

这是整个流程的起点，也是决定生成方向是否正确的关键。我们不能简单地把“一座奇幻城堡”丢给系统。

结构化提示词设计：我借鉴了AI绘画中的提示词技巧，设计了一套简单的结构化描述格式。例如：[场景主题]: 幽暗森林 [核心元素]: 巨木, 发光蘑菇, 蜿蜒小径 [氛围]: 迷雾, 月光穿透 [地形特征]: 起伏的丘陵, 零星沼泽 [建筑]: 破败的木屋 [资产密度]: 树木-高, 岩石-中, 花草-中这种格式虽然不如自然语言流畅，但便于程序进行关键词提取和权重分配。
从文本到布局参数：如何将“幽暗森林”转化为具体的生成参数？这里我采用了一个混合方法。首先，使用大型语言模型的API，将结构化提示词转换为一个更机器友好的参数JSON。例如，请求LLM输出：{“terrain_type”: “forest”, “mood”: “dark_mysterious”, “tree_density”: 0.8, “fog_intensity”: 0.9, “water_presence”: 0.3}。这些参数值将成为后续各层生成器的输入。
参考图像的使用：正如Unity官方文档中强调的，提供参考图像能极大提升生成结果的质量和可控性。在我们的分层管线中，参考图像可以作用于不同层级：一张风景照片可用于指导布局和氛围；一张特定建筑的图片可用于在资产层匹配相似的建筑风格。

3.2 AI与程序化地形的融合

这是从2D布局迈向3D空间的第一步，也是最容易出问题的一步。

高度图生成：利用Stable Diffusion + ControlNet Depth是一个很好的起点。输入提示词和/或布局层生成的草图，让AI生成一张带有景深信息的图片。然后，使用图像处理库（如Unity的Texture2D处理或第三方库）将这张图的亮度信息提取并转换为高度数据。这里有个大坑：AI生成的深度图可能不连续或有噪点，直接应用会导致地形出现尖锐的 spikes 或裂缝。
地形平滑与真实化：纯AI生成的高度图通常“艺术感”太强，缺乏真实地貌的连续性。因此，必须后处理。我的流程是：
- 多频噪声融合：将AI高度图与几层不同频率的Perlin噪声混合。高频噪声增加地表细节，低频噪声塑造宏观的山脊走向。混合权重可以根据AI图中不同区域的语义（如山区、平原）动态调整。
- 热侵蚀模拟：编写一个简单的迭代算法来模拟热侵蚀，让陡峭的山坡滑落物质填充山谷，这能极大地消除不自然的尖锐突起，使地形更显自然。
- 水文模拟：计算径流，雕刻出河床，确保水流路径符合物理规律，而不是AI随意画出的线条。
纹理生成：地形不仅需要形状，还需要表面材质。我们可以使用提示词（如“潮湿的苔藓岩石”、“干涸的泥土”）驱动AI生成无缝平铺的PBR材质贴图（Albedo, Normal, Height）。Unity的AI 3D对象生成器目前专注于模型，但材质生成器可以用于此目的。生成后，根据地形坡度、高度等信息，使用Unity Terrain的Splatmap技术混合多种材质。

3.3 基于语义的资产程序化放置

资产放置是让场景“活”起来的关键，必须避免均匀、重复的“复制粘贴”感。

资产库分类与标记：首先，需要建立一个结构化的Prefab资产库。每个Prefab不仅包含模型和材质，还应附加元数据，如：
- AssetType: Tree, Rock, Bush, Building_Medieval, Building_Modern...
- PreferredSlope: 0-30度（平地），30-60度（山坡），>60度（悬崖）。
- PreferredHeight: 低地，中山，高地。
- SizeVariation: 允许的缩放范围（如0.8~1.2）。
- ClusterTendency: 是否倾向于成群出现（如灌木丛）。
放置规则引擎：编写一个规则引擎，读取地形层和布局层的数据（如高度图、坡度图、语义区域图），并结合LLM解析出的场景参数（如tree_density），来决定放置行为。
- 密度控制：不是均匀分布。使用泊松圆盘采样算法来确保资产之间保持最小距离，同时实现自然的不均匀聚集。
- 语义关联：在“沼泽”区域，只放置标记为PreferredHeight为低地且可能关联“沼泽”标签的植物Prefab（如枯树、芦苇）。
- 避让规则：放置建筑时，需要检测放置点是否过于陡峭，或与已放置的大型物体（如巨石）重叠。这需要简单的物理碰撞检测或空间查询。
性能优化：当需要放置成千上万个实例时，直接使用Instantiate会卡死编辑器。必须使用GPU Instancing或Unity的ECS/DOTS方案。对于静态环境资产，我推荐在放置完成后，使用Unity的Prefab Variant或自定义工具，将大片区域的相同资产合并成更少的Draw Call。Addressable Asset System在此处也很有用，可以按需加载不同区域的资产，管理内存。

3.4 光照、后处理与氛围匹配

视觉氛围的最后一环，也是最出效果的一环。

AI辅助光照配置：光照（方向、颜色、强度）和雾效参数对氛围影响极大。我们可以训练一个简单的回归模型，或者设计一套规则，将文本描述中的关键词映射到光照设置。例如：
- “幽暗”、“迷雾” -> 调低方向光强度，启用雾效，雾色偏灰蓝，雾浓度提高。
- “阳光明媚”、“午后” -> 方向光强度高，色温偏暖，阴影对比度强。更高级的做法是，用AI生成一张符合氛围的参考图，然后在Unity中手动或通过脚本匹配其色调和明暗关系。
后处理调优：Unity的Post-Processing Stack中的Color Grading是调色神器。AI可以辅助推荐一个LUT或直接生成一组调色参数（如提升阴影部的蓝色，降低高光）。环境光遮蔽、屏幕空间反射能极大地增强场景的立体感和真实感，应根据场景复杂度权衡性能后开启。
动态元素：一些简单的程序化动画能极大提升生机。比如，让树叶随风轻微摆动（使用简单的顶点着色器动画），让雾效密度随时间缓慢变化，或在河边添加循环流动的粒子特效。这些都可以通过脚本驱动，参数同样可以由初始的提示词氛围参数所影响。

4. 在Unity中的集成与实现流程

理论说再多，不如看看在Unity编辑器里具体怎么一步步搭起来。我的项目结构主要围绕几个核心的编辑器窗口和脚本化对象来构建。

4.1 项目结构与核心组件

Assets/ ├── _AI_ProceduralWorld/ │ ├── Editor/ (存放所有编辑器扩展脚本) │ │ ├── WorldGeneratorWindow.cs (主控制窗口) │ │ ├── LayerTerrainGenerator.cs (地形层编辑器) │ │ └── ... │ ├── Runtime/ │ │ ├── ScriptableObjects/ (配置数据) │ │ │ ├── WorldGenerationConfig.asset │ │ │ ├── AssetLibrary.asset │ │ │ └── ... │ │ ├── Components/ (运行时逻辑，如动态加载) │ │ └── Utilities/ (工具类，如噪声生成、泊松采样) │ ├── Presets/ (预置的参数配置) │ └── GeneratedContent/ (运行时生成的资产存放目录)

WorldGeneratorWindow：这是大脑，一个EditorWindow，提供输入提示词的文本框、各层生成器的启用开关、参数滑动条，以及一个“生成”按钮。它负责协调各层生成器的执行顺序。
ScriptableObject配置：所有参数都不应硬编码。WorldGenerationConfig资产文件存储了LLM的API密钥、默认提示词结构、各层的基础参数等。AssetLibrary资产文件则是一个列表，引用所有可用的Prefab及其元数据。

4.2 分步实现详解

步骤一：解析提示词与初始化当用户在主窗口输入提示词并点击“解析”时，会触发以下伪代码逻辑：

// 伪代码，演示流程 async void ParsePrompt(string prompt) { // 1. 结构化提示词（可选，也可让用户直接输入结构化文本） string structuredPrompt = FormatPrompt(prompt); // 2. 调用LLM API (例如 OpenAI GPT, 本地部署的模型等) string apiKey = config.LLM_API_Key; string response = await CallLLMAPI(apiKey, structuredPrompt, "你是一个场景解析助手，请将描述转化为JSON参数..."); // 3. 解析LLM返回的JSON，填充到WorldGenerationConfig对象中 SceneParams sceneParams = JsonUtility.FromJson<SceneParams>(response); config.sceneParams = sceneParams; // 4. 更新UI，显示解析出的参数（如地形起伏度：0.7， 树木密度：0.8） UpdateParameterUI(sceneParams); }

步骤二：生成布局与地形点击“生成地形”按钮后：

IEnumerator GenerateTerrain() { // 1. 布局层：调用AI文生图服务，生成语义草图或高度图草图 Texture2D layoutTex = await CallAIImageAPI(config.sceneParams.theme, style: "segmentation_map"); // 或者，使用预制的噪声算法生成基础布局 Texture2D heightMap = GenerateBaseHeightMap(layoutTex, config.sceneParams.terrainRoughness); // 2. 地形层：应用AI生成的高度图到Unity Terrain TerrainData terrainData = currentTerrain.terrainData; float[,] heights = ConvertTextureToHeightArray(heightMap, terrainData.heightmapResolution); terrainData.SetHeights(0, 0, heights); // 3. 地形后处理：应用噪声、侵蚀模拟 yield return StartCoroutine(ApplyThermalErosion(terrainData, iterations: 5)); yield return StartCoroutine(ApplyHydraulicErosion(terrainData, rainfall: 100)); // 4. 生成并分配地形纹理(Splatmap) Texture2D[] splatMaps = GenerateSplatmapsFromParams(config.sceneParams); terrainData.terrainLayers = LoadTerrainLayers(); terrainData.SetAlphamaps(0, 0, splatMaps); }

步骤三：程序化放置资产地形就绪后，开始放置资产。这是一个计算密集型任务，建议在协程中分帧进行，避免编辑器卡死。

IEnumerator PopulateAssets() { AssetLibrary library = config.assetLibrary; TerrainData terrainData = currentTerrain.terrainData; // 1. 为每种资产类型计算泊松采样点 foreach (AssetCategory category in library.categories) { List<Vector2> points = PoissonDiskSampling(terrainData.size, category.minRadius, category.density); // 2. 将2D采样点转换为3D世界坐标，并考虑地形高度和法线 foreach (Vector2 point in points) { Vector3 worldPos = ConvertToWorldPosition(point, terrainData); // 检查坡度、高度等规则 if (!CheckPlacementRules(worldPos, category)) continue; // 3. 从该类别中随机选择一个Prefab，并应用随机旋转/缩放 GameObject prefab = category.GetRandomPrefab(); GameObject instance = PrefabUtility.InstantiatePrefab(prefab) as GameObject; instance.transform.position = worldPos; instance.transform.rotation = RandomRotation(category); instance.transform.localScale = RandomScale(category); // 4. 每实例化一定数量， yield return null 一帧，保持编辑器响应 if (++count % 100 == 0) yield return null; } } // 5. (可选) 静态合批以提升性能 StaticBatchingUtility.Combine(rootGameObject); }

步骤四：配置光照与后处理最后，根据解析出的氛围参数，动态调整场景光照和后处理体积。

void ConfigureLightingAndPostFX(SceneParams params) { // 调整方向光 DirectionalLight sun = FindObjectOfType<DirectionalLight>(); sun.intensity = params.sunIntensity; sun.color = Color.Lerp(Color.blue, Color.yellow, params.sunWarmth); // 调整雾效 RenderSettings.fog = true; RenderSettings.fogColor = params.fogColor; RenderSettings.fogDensity = params.fogDensity; // 调整后处理体积 PostProcessVolume volume = GetComponent<PostProcessVolume>(); ColorGrading colorGrading; if (volume.profile.TryGetSettings(out colorGrading)) { colorGrading.temperature.value = params.colorTemperature; colorGrading.contrast.value = params.contrast; } }

5. 性能优化与常见问题排查

将AI和大量程序化生成内容整合进Unity，性能是必须跨过的坎。以下是我在实践中总结的要点和踩过的坑。

5.1 性能优化策略

层级细节与视距裁剪：对于生成的大世界，必须使用LOD。为所有可放置的资产Prefab设置多级LOD Group。同时，结合Unity的遮挡剔除和视锥体剔除，确保只渲染玩家能看到的物体。对于地形，Unity Terrain自带LOD，而Mesh Terrain则需要自己实现或使用第三方方案。
GPU Instancing与SRP Batcher：确保所有大量重复使用的资产（如同一种树木、岩石）的材质启用了GPU Instancing。如果使用Universal RP或HDRP，确保Shader兼容SRP Batcher，这能大幅减少Draw Call。
异步加载与流式处理：对于超大型场景，不可能一次性全部加载。需要将世界划分为网格或区块，动态加载和卸载玩家周围的区块。Unity的Addressable Asset System非常适合这种场景，配合自定义的加载管理器，可以实现平滑的流式体验。
脚本执行效率：资产放置、规则检查等算法要高效。避免在Update中使用GameObject.Find或GetComponent。将需要频繁访问的数据缓存起来。对于复杂的密度检查或碰撞检测，考虑使用空间分区数据结构，如四叉树或网格。

5.2 常见问题与解决方案实录

下面这个表格记录了我开发过程中遇到的一些典型问题及解决方法：

问题现象	可能原因	排查步骤与解决方案
生成地形时编辑器卡死或无响应	1. 同步进行大量计算或IO操作。 2. 在编辑器主线程中直接实例化上万个对象。	1.使用协程并分帧：将耗时的循环（如泊松采样、实例化）放入协程，每处理一定数量就`yield return null`。 2.异步操作：调用外部AI API时，务必使用`async/await`或`UnityWebRequest`的协程形式，避免阻塞。 3.进度条反馈：在EditorWindow中显示进度条，让用户知道系统还在工作。
生成的场景Draw Call极高	1. 每个资产都是独立的Draw Call。 2. 材质未启用合批。	1.静态合批：对于不会移动的环境资产，使用`StaticBatchingUtility.Combine`。注意这会增加内存占用。 2.检查材质：确保相同资产的材质球是完全相同的实例，并且勾选了“Enable GPU Instancing”。 3.使用LOD：减少远处物体的面数，也能间接减少Draw Call。
AI生成的高度图导致地形撕裂或尖刺	1. AI生成的图片噪声大、不连续。 2. 高度值范围未正确归一化到0-1。	1.预处理图像：生成后，先对高度图进行高斯模糊平滑处理。 2.限制高度范围：遍历高度数组，将值钳制在合理范围内（如0.1~0.9），避免极端值。 3.混合程序化噪声：将AI高度图与平滑的Perlin噪声以一定比例混合，既能保留AI特征，又能保证连续性。
资产放置位置浮空或嵌入地面	1. 采样点的世界Y坐标计算错误，未加上地形高度。 2. 未考虑地形的法线，物体放置在了陡坡上。	1.正确采样高度：使用`Terrain.SampleHeight`或`TerrainData.GetInterpolatedHeight`来获取精确的Y坐标。 2.获取法线并调整：使用`TerrainData.GetInterpolatedNormal`获取放置点的法线。对于树木等需要垂直于地面的物体，使用`Quaternion.FromToRotation(Vector3.up, normal)`来旋转物体。 3.添加碰撞体检测：放置建筑等大型物体前，用`Physics.CheckBox`简单检测是否会与其他物体或陡峭地形穿插。
提示词解析结果不稳定	1. 给LLM的指令（Prompt）不清晰。 2. LLM返回的JSON格式不一致。	1.优化系统指令：给LLM的指令要非常明确，例如：“你是一个场景参数生成器。请只返回一个合法的JSON对象，包含以下字段：terrain, vegetation_density, water_presence... 每个字段值范围是0-1。” 2.添加格式校验：在解析JSON前，先检查关键字段是否存在，或使用更健壮的JSON解析库，尝试处理格式错误。 3.提供示例：在指令中给出1-2个完整的输入输出示例，让LLM学习你想要的格式。
打包后材质变紫（Shader丢失）	1. 动态生成的材质或引用的Shader未正确包含在构建中。 2. 使用了编辑器独有的资源路径。	1.使用Resources或Addressables：确保所有运行时可能用到的Shader和材质球都放在`Resources`文件夹内，或通过Addressable系统标记和加载。 2.检查Shader变体收集：尤其是URP/HDRP项目，需要在Project Settings -> Graphics -> Shader Stripping中确保收集了所有需要的Shader变体，或者将关键Shader加入“Always Included Shaders”列表。

6. 进阶方向与扩展思考

实现基础管线后，还可以向更多有趣的方向探索，让这个系统更强大、更智能。

方向一：从静态生成到动态演化现在的系统生成的是一个静态场景。我们可以引入AI Agent的概念。让一些“环境Agent”根据规则或简单的目标（如“让森林更茂密”、“在河边形成一条小路”）持续地对场景进行微调。这可以通过定期运行小范围的生成规则，或者使用强化学习来训练Agent实现。这样，场景就能随着“游戏时间”或玩家互动而缓慢变化。

方向二：与游戏玩法的深度结合生成不只是为了好看，更要服务于玩法。我们可以在生成布局时，就考虑玩法区域：例如，根据提示词“一个适合伏击的峡谷”，AI应在布局层生成一个包含狭窄通道和高地的区域，并自动在这些关键位置放置掩体Prefab。更进一步，可以生成简单的导航网格或路点，供NPC使用。

方向三：利用本地大模型与实时交互依赖云端AI API会有延迟、成本和网络依赖问题。随着本地大模型的发展，可以考虑将轻量化的模型集成到Unity项目中。虽然生成高质量图像或复杂3D模型对本地算力要求高，但用于解析提示词、生成布局参数或简单规则的任务，完全可以在本地运行，实现真正的实时、离线交互。用户一边输入描述，场景一边在他眼前逐步构建出来，体验会非常震撼。

方向四：个性化与风格学习系统可以学习特定用户或项目的偏好。例如，用户多次手动调整了AI生成的“中世纪村庄”布局，系统可以记录这些调整，并尝试在下一次生成类似主题时，自动应用这些偏好模式。这需要引入简单的机器学习模型来学习用户的编辑历史。

这个项目做到现在，我的一个深刻体会是：AI不是来取代程序化生成或美术工作的，而是来充当一个“超级引路人”和“灵感加速器”。它把人类模糊的语言创意，快速转化为机器可理解的结构化数据和初始方案，然后由更可靠、更可控的程序化技术和人工微调来完成落地与精修。这套分层管线的价值，就在于它建立了一个两者高效协作的框架。未来，随着AI生成3D几何能力的成熟，这个管线中“资产生成”的环节可能会被直接替代，但分层控制、规则融合、性能优化的核心思想，只会变得更加重要。

查看全文

http://www.cnnetsun.cn/news/3280972.html