跑团Replay制作全流程：从录音转写到AI立绘与批量合成

跑团 Replay 视频在 B 站、抖音这类平台已经不算小众。最近看到一部《孤岛恋综——秦六世君臣 CP 角色桌》，第一回标题叫《好混乱的食物链》。从标题来看，这是一个荒岛求生 + 恋爱综艺 + 秦代架空设定的跑团局，多人角色桌、CP 关系线、天然带有综艺感和戏剧冲突。这类作品在题材上非常“出圈”，但真正决定它能不能稳定更新的，其实是背后的制作管线。

跑团 Replay 本质上是把几小时甚至十几小时的跑团记录压缩成一条有节奏、有视觉、有声音的视频，中间涉及语音转写、剧本整理、立绘生成、角色一致性、场景构图、配音、字幕、剪辑、批量导出。任何一个环节做不顺，都会卡住整个流程。很多新人做第一期的时候精力全花在“把素材堆出来”上，做到第二期才发现复用性、一致性、批量效率才是核心问题。

这篇文章以跑团 Replay 制作工程为主线，给你一套可以直接落地的制作流程。内容包括：怎么处理原始录音、怎么用 AI 工具生成角色立绘和场景图、怎么做角色一致性、怎么批量出图和压字幕，以及过程中如何控制资源占用和排查常见问题。全程不依赖某个特定付费软件，尽量用开源工具和本地脚本解决，适合正在做跑团 Replay、想做系列化内容，或者想用 AI 批量生产视频素材的读者。

1. 跑团 Replay 核心能力速览

跑团 Replay 制作不是一个单一功能软件，而是一条多环节内容生产线。从原始语音到成片，通常会经过以下环节：

从这张表可以看出，跑团 Replay 制作中真正有门槛的是两块：角色一致性，以及批量合成。前者决定画面能不能看，后者决定你能不能稳定周更。

这个项目《孤岛恋综》属于典型的“角色桌+CP 剧情向”内容，角色数量多、互动频繁，这意味着立绘素材的需求量非常大，而且同一个角色要反复出现在不同场景、不同表情、不同镜头中。如果每张图都临时生成，风格会迅速漂移；如果没有一套素材管理规范，后期剪辑会陷入“找不到图”的困境。

2. 适用场景与使用边界

跑团 Replay 制作技术适合哪些人？

• 跑团玩家：把自己的跑团局做成系列视频，记录精彩剧情。
• 内容创作者：想做“剧情动画”或“有声漫画”类内容，但没有动画制作能力，用 AI 图和 TTS 快速出片。
• 短视频团队：需要低成本批量产出对话剧情类视频，跑团 Replay 是一种已验证的模板。
• 工具链开发者：想封装一套“语音转录 + 立绘生成 + 视频合成”的开源工作流。

使用边界也要说清楚。如果跑团内容涉及现实人物、真实声音、真人照片，必须获得明确授权。使用 AI 生成角色立绘时，要注意平台对 AI 内容的规定，有些平台要求标注“AI 生成”。如果使用别人的模组、剧本、世界观设定，需要确认是否允许二创和商用。音色克隆也必须谨慎，未经授权不得克隆他人声音，这是底线。

另外，《孤岛恋综》这类题材使用了历史或架空世界观设定，制作时应当注意世界观表达的基本分寸，不要在剧情中引入不当的历史影射或争议性表达。跑团内容属于创作自由范畴，但发布到公开平台时，仍然要遵守平台内容和社区规范。

3. 制作环境准备与素材清单

跑团 Replay 制作的环境分三块：录音环境、AI 生成环境、视频合成环境。对于个人创作者，可以按“能用就行的入门配置”和“批量生产的进阶配置”两种来准备。

录音环境：

• 至少准备一个独立麦克风，多人线上跑团时，每人单独录音，避免混音后无法分离。
• 录音格式建议 WAV 或高质量 MP3，采样率 44.1kHz 以上。
• 多人语音需要提前约定：“发言时尽量不重叠”，后期会省很多事。

AI 绘图环境：

• 如果使用本地 Stable Diffusion，推荐 NVIDIA 显卡，8G 显存可以跑常见 512x512 到 768x768 的图，12G 以上跑 1024 分辨率更稳。
• 如果显卡不够，可以使用在线绘图工具，但对角色一致性控制会弱一些。
• 磁盘空间主要被模型和输出图片占用，建议预留至少 50GB。

视频合成环境：

• 剪映、Premiere 是常见选择。
• FFmpeg 是批量合成的核心，建议提前装好并加入系统 PATH。
• 语音转写用 Whisper，可以在本地跑，也可以使用云端 API。

素材清单建议这样组织：

project/ ├── audio/ │ ├── raw/ # 原始录音 │ ├── processed/ # 降噪、分角色后的音频 │ └── tts/ # 配音文件 ├── text/ │ ├── transcript/ # 转写文稿 │ ├── script/ # 分幕剧本 │ └── subtitles/ # 字幕文件 ├── images/ │ ├── characters/ # 角色立绘 │ ├── scenes/ # 场景图 │ ├── assets/ # 道具、表情包 │ └── output/ # 最终合成用图片 ├── video/ │ ├── segments/ # 分段视频 │ └── final/ # 成片 └── scripts/ # 自动化脚本

这套目录结构是我整理跑团 Replay 项目时比较推荐的规范。第一期就养成“分目录管理”的习惯，后面做系列化内容时会非常省心。尤其是角色立绘和场景图，如果不分目录，等到第二期找素材会崩溃。

4. 从跑团录音到剧本脚本

跑团 Replay 制作的第一个技术环节是把原始录音变成可编辑的文字。

多人跑团录音通常有几个问题：人声重叠、网络音质不稳定、语气词多。处理流程一般是：

1. 降噪处理，去掉空调声、键盘声、电流声。
2. 语音转写，把音频变成带时间戳的文字。
3. 人工校对，给不同玩家标角色名。
4. 分段整理，把零散对话按剧情发展分成幕。

语音转写推荐使用 Whisper。Whisper 是 OpenAI 开源的语音识别模型，支持中文，能输出带时间戳的 SRT 字幕文件。本地安装后，可以直接对录音文件转写。

# 使用 Whisper 将录音转写为带时间戳的 SRT 字幕 whisper audio/processed/session_01.wav \ --language zh \ --model medium \ --output_format srt \ --output_dir text/transcript

转写完成后，得到的是带时间轴的原始文本，里面还包含大量口语词和玩家之间的废话。这一步不要指望 AI 完全替代人，剧本整理需要理解剧情逻辑。跑团 Replay 不是把录音逐句放出来，而是提取有效剧情、冲突、名场面，再按视频节奏重排。

整理剧本时，可以考虑这样的“分幕脚本”格式：

# 第一幕：孤岛登陆 - 画面：海浪、孤岛远景，直升机降落 - 旁白：各位嘉宾，欢迎来到孤岛恋综 - 角色 A：这里怎么连信号都没有？ - 角色 B：说明节目组真把我们扔荒岛了 - 角色 C：（冷笑）这不正是你想要的吗？ # 第二幕：食物链初现 - 画面：营地篝火，角色关系图浮出 - 角色 B：所以我们的食物链是…你吃定我了？ - 旁白：第一回，好混乱的食物链，正式开始

这种脚本结构直接把“台词、画面、旁白、转场”分开，后续生成立绘、配字幕、剪视频时都可以对着这个脚本操作。跑团 Replay 的核心技术点之一是“把对白重新编排成有镜头感的分幕结构”，这一步处理得好，成片的节奏感会明显好于纯录音搬运。

5. 角色立绘生成与角色一致性

角色立绘是跑团 Replay 中最容易翻车的环节。典型问题是：第一张图里角色是黑发，第二张图变成了深棕色；第一张图是长袍，第二张图变成了现代西装。这种不一致会在视频中反复出现，观众一眼就能看出混乱。

角色一致性目前主要有三种做法：

第一种，固定提示词模板。给每个角色写一份标准描述，包括发型、发色、眼睛颜色、服装、配饰、画风关键词。每次生成时复制这段描述，再在尾部追加表情和动作描述。这样做成本最低，但稳定性有限，适合对一致性要求不高的内容。

第二种，使用 LoRA 模型。LoRA 是一种轻量级模型微调技术，可以用几十张角色图训练出专属的风格模块，之后在生成时加载 LoRA，就能明显提高同一角色的相似度。训练 LoRA 需要一批同一角色不同角度的图片，通常 20 到 50 张。这个方案适合把固定角色作为长期 IP 运营的场景。

第三种，使用参考图功能。一些绘图工具支持传一张或多张参考图，生成时让模型参考图中的人物特征。这种方式比纯提示词稳定，比 LoRA 灵活，适合快速生成多组图。

实际操作时，建议先为每个主角建立“角色设定卡”：

角色名：秦某 性别：男 发型：黑色束发，玉冠 服装：黑色帝王常服，暗金纹饰 特征：眉眼狭长，轮廓硬朗 画风：古风插画，半厚涂 常用表情：冷淡、审视、微笑、愠怒

生成时直接把这个设定卡作为基础提示词，再叠加具体场景和表情。一定不要把同一角色交给多个绘图工具“猜”，风格会失控。如果你使用 Stable Diffusion 本地部署，可以将角色提示词保存为预设文件，批量生成时用脚本调用。

import requests api_url = "http://127.0.0.1:7860/sdapi/v1/txt2img" payload = { "prompt": "ancient Chinese emperor, black hair, jade crown, black robe, detailed face, half-painting style, looking at camera, slight smile", "negative_prompt": "blurry, low quality, extra fingers, deformed hands", "width": 768, "height": 1024, "steps": 28, "batch_size": 4 } response = requests.post(api_url, json=payload, timeout=300) if response.status_code == 200: data = response.json() images = data.get("images", []) print(f"生成完成，共 {len(images)} 张") else: print(f"请求失败：{response.status_code}")

上面的代码是针对本地 Stable Diffusion API 的通用调用模板，接口路径和参数需要按你实际部署的版本调整。它的意义在于：角色设定一旦固定，你可以用脚本批量生成多组表情、多组动作，而不需要手动操作界面。

《孤岛恋综》这个项目是 CP 角色桌，角色之间会有大量互动关系。制作时不仅要有单人立绘，还要考虑“双人同框”或“多人群像”的构图。双人同框比单人立绘难得多，模型容易出现人物特征混合、肢体错乱。建议先用单人立绘分别生成，再用图像编辑工具合成，或者使用可控的多人构图工作流。如果技术能力有限，也可以采用“分屏+对话框”的视觉方案，避免双人构图。

6. 场景图生成与构图

场景图是跑团 Replay 的“舞台”。对《孤岛恋综》来说，场景至少包括孤岛海滩、营地、综艺活动区、夜晚篝火等。场景图的核心要求是风格统一、氛围贴合、且不与角色立绘冲突。

生成场景图时，建议固定画风关键词，比如“anime background, romantic comedy, island survival, bright lighting, detailed environment”，这样不同场景之间风格就不会差太多。同时要注意“空场景”与“带角色场景”的区别。

空场景图用于展示地点、过渡、开头和结尾，生成时不需要角色，只画环境。带角色场景图则在画面中加入角色，这时候构图就比较关键。跑团 Replay 的流程往往是“先出空场景，再做角色入场”，因为角色位置和镜头方向需要脚本控制。

对于系列化内容，建议给每个场景制作 2 到 3 个变体：全景、中景、特写。全景可以用于建立空间感，中景用于人物互动，特写用于情绪表达。这样剪辑时可以有景别切换，观众不会疲劳。

场景图的批量管理同样重要，推荐按场景名称建目录，内部再按景别分类：

images/scenes/island_beach/full.png images/scenes/island_beach/medium.png images/scenes/island_beach/closeup.png images/scenes/campfire/full.png images/scenes/campfire/medium.png

这样后续脚本化合成时可以快速找出对应素材。

7. 语音合成与配音处理

跑团 Replay 有两种声音方案：使用原版录音，或者使用 TTS 重新配音。

原版录音方案的优点是天然真实，玩家的语气、笑场、互怼都很有趣，适合“纪实感”强的跑团视频。缺点是音质参差不齐，人声重叠难处理，而且玩家方言、口音差异可能导致字幕需要大量校对。

TTS 重新配音方案的优点是声音统一、角色区分度高，适合把跑团内容“演绎化”，更接近广播剧。缺点是失去了原版录音的临场感，而且 TTS 对长句、多音字、情绪复杂台词的还原还有局限。

如果选择 TTS，需要注意四个点：

• 为每个角色选择不同音色，避免观众混淆。
• 多音字要手动处理，比如“角色”的“角”在不同语境下读法不同。
• 长句要拆分，超过 20 个字的句子 TTS 容易读得没有节奏。
• 情绪表达要使用 TTS 的情绪标记或 SSML，否则整段会很平淡。

有一个比较实用的做法：先让 TTS 生成台词，然后人工选择最贴近原作语气的版本，再通过音频编辑软件微调语速和音调。跑团 Replay 最忌讳的是“所有角色共用同一种 TTS 音色”，这会直接毁掉角色区分度，尤其像《孤岛恋综》这种 CP 向内容，观众依赖声音来判断角色之间关系，音色拉不开，观看体验会直线下降。

如果使用音频编辑软件，可以把每个角色的配音输出为独立音轨，便于后期调整音量和混音。建议输出格式为 44.1kHz 16bit WAV，后续转 MP3 或 AAC 都不会损失太多质量。

8. 字幕生成与视频批量合成

字幕是跑团 Replay 制作中工作量最大的环节之一。对于剧情密集的内容，字幕不仅要准确，还要考虑断句和阅读节奏。跑团 Replay 视频的观众往往需要一边看画面一边读对白，字幕太快会跟不上，太慢又拖节奏。

字幕可以用 Whisper 生成初稿，再人工校对。校对的重点是：人名、专有名词、断句。Whisper 对中文口语的转写准确率已经不错，但遇到跑团中的特殊名词、玩家即兴起的怪名字，基本都会错。以《孤岛恋综》这样充满古代称谓和综艺梗的内容为例，字幕校对应尽早开始，不要拖到成片剪完再改。

下面这段脚本是使用 FFmpeg 将单张背景图和一段配音合成为分段视频，再批量拼接的通用思路：

# 将单张图片和单条音频合成为分段视频 ffmpeg -y \ -loop 1 -i images/scenes/campfire/full.png \ -i audio/tts/role_a_01.wav \ -c:v libx264 -c:a aac -shortest \ -s 1920x1080 -r 30 \ video/segments/segment_01.mp4

批量处理时，可以写一个 Python 脚本读取分幕脚本，自动生成分段视频，再统一拼接：

import subprocess from pathlib import Path segments_dir = Path("video/segments") concat_file = Path("video/concat.txt") # 按命名顺序排列分段视频 segment_files = sorted(segments_dir.glob("segment_*.mp4")) if not segment_files: raise SystemExit("没有找到分段视频，请先合成 segment 文件") # 生成 FFmpeg concat 列表 with concat_file.open("w", encoding="utf-8") as f: for seg in segment_files: f.write(f"file '{seg.resolve()}'\n") # 拼接分段视频 cmd = [ "ffmpeg", "-y", "-f", "concat", "-safe", "0", "-i", str(concat_file), "-c", "copy", "video/final/output.mp4" ] print("拼接命令：", " ".join(cmd)) subprocess.run(cmd, check=True) print("成片输出完成：video/final/output.mp4")

如果你的分段视频编码参数一致，上述命令使用-c copy无损拼接，速度快且不损失质量。如果分段视频分辨率、帧率不一致，则需要先统一参数再拼接，否则画面会跳动。

“批量任务”在跑团 Replay 内容中还有一个重要含义：多集内容统一发布。建议在制作第一集时就确定统一画幅、统一片头片尾、统一字幕样式。这样后续每一集只需替换文字和图片，不需要重新设计整体风格。

9. 资源占用与性能观察

跑团 Replay 制作过程中，资源占用主要集中在 AI 绘图、语音转写和视频合成三个阶段。

AI 绘图：

• 使用本地 Stable Diffusion 绘图时，显存占用与分辨率、步数、批量数直接相关。
• 一般 512x512 到 768x768 的分辨率，8G 显存够用；1024x1024 以上建议 12G 到 16G。
• 批量生成时，适当增大batch_size可以提高 GPU 利用率，但显存不足会直接报错。

语音转写：

• Whisper 的 medium 模型在 CPU 上也可以运行，但速度较慢；如果使用 GPU 推理，显存占用大约在 3 到 6GB，具体取决于模型版本和音频长度。
• 如果只是偶尔转写几期录音，使用 CPU 也可以接受，只是等待时间长。

视频合成：

• FFmpeg 合成视频时主要吃 CPU 和内存。如果不做复杂转场和特效，内存 8 到 16G 足够。
• 如果加入大量特效、动态字幕、滤镜，内存和 CPU 会明显上升。

不建议在跑团 Replay 过程中多任务并行，比如一边生成立绘一边渲染视频，容易导致显存溢出或系统卡顿。更稳的做法是分阶段执行：先批量出图，再配音，最后统一合成。每个阶段结束时检查资源状态。

观察显存可以使用 NVIDIA 显卡的监控命令：

nvidia-smi --query-gpu=utilization.gpu,memory.used,memory.total --format=csv -l 1

这条命令会每秒刷新 GPU 利用率、已用显存和总显存。跑团 Replay 内容制作者经常低估 AI 绘图对显存的需求，尤其是生成多人同框图时，显存占用会比单人立绘高不少。出现CUDA out of memory的时候，第一反应应该是降低分辨率或减小batch_size，而不是立刻换卡。

10. 常见问题与排查方法

跑团 Replay 制作涉及的环节多，问题出现频率也高。这里整理一份排查表：

这份排查表可以作为你跑团 Replay 项目的默认排错手册。实际制作中，90% 的问题出在素材规范上，而不是工具本身。所谓素材规范，就是文件名清晰、目录固定、命名连续、版本明确。只要做到这一点，大部分故障都可以快速定位。

11. 最佳实践与使用建议

结合跑团 Replay 的制作特点，这里整理几条工程化建议。

第一，先做一条 30 秒样片。不要一上来就做完整的第一集，先用一个片段把“立绘生成 + 语音转写 + 字幕 + 合成”跑通，确认整体风格和技术链没有问题，再扩展成完整集数。样片可以帮你提前发现画风、字幕、配音、节奏的问题，避免做到一半推翻重来。

第二，建立角色素材库。跑团 Replay 的长期更新依赖素材复用，建议按照角色名建目录，存入该角色的全部立绘、表情、动作，并标注生成参数。这样第二期要使用相同角色时，可以快速调用，而不是重新摸索提示词。

第三，批量任务要留断点。批量生成图片或视频时，脚本应当支持“失败跳过、记录日志、续跑”。不要一次性把几百张图放在一个进程里跑，一旦中途挂了，前面的工作就白费了。建议每生成一批，就把图片保存到独立目录，并及时做简单预览检查。

第四，接口服务要控制访问范围。如果你为本机部署了 Stable Diffusion API 或 Whisper API，建议监听 127.0.0.1，不要直接暴露到局域网或公网，否则可能被未授权使用。API 服务只做本地调用时，端口占用和访问权限是最常见的安全风险。

第五，合规先行。跑团 Replay 涉及声音、角色画像、剧本版权。自己组局跑的团，素材所有权相对清晰，但如果你使用了别人的模组、立绘素材、音效包，需要确认授权范围。使用 AI 生成内容和 AI 配音时，也要在视频简介中按平台要求标注 AI 参与情况。涉及现实人物的声音、肖像，必须获得本人授权。不要因为“只是做着玩”就忽略这些，发布后引发纠纷的成本远高于事前确认。

第六，对《孤岛恋综》这类带有 CP 情感线的跑团 Replay，制作时要特别注意角色关系表达的分寸。CP 向内容容易引发观众很强的情感投入，但角色的互动应当建立在剧情和人物逻辑上，避免过度消费某种关系模式。创作者需要平衡“观众想看”和“角色合理”之间的关系，这与技术无关，却会影响内容的长期口碑。

12. 总结与下一步

跑团 Replay 制作是一个典型的“多工具链协作”项目，不是某一个大模型或某个软件能独立完成的。从《孤岛恋综》这个项目可以看出，真正决定内容上限的是角色一致性、批量效率和素材管理能力。

如果你准备开始做跑团 Replay，我建议按以下顺序推进：

1. 先选一局跑团录音，用 Whisper 转文字。
2. 整理出第一幕脚本，确定角色和场景数量。
3. 为每个角色生成 3 到 5 张立绘，确认风格一致。
4. 制作 30 秒样片，跑通“图片 + 配音 + 字幕 + 合成”流程。
5. 确认无问题后，再批量制作完整集数。

对《孤岛恋综》这样的 CP 角色桌内容来说，最容易踩的坑是角色太多、关系太乱，导致立绘和配音工作量激增。建议你前期严格限制主要角色数量，把配角做成复用性强的“群像素材”，避免每场戏都需要新立绘。

跑团 Replay 这条路，技术上并不复杂，但工程化程度决定了你能走多远。第一期可以做出来，不代表第二期还能按时做完。希望这套流程能让你少走一些弯路，把更多精力留给剧情设计和内容打磨。