AI变声从零到一：开源RVC WebUI，10分钟语音就能训练专属音色模型

AI变声从零到一：开源RVC WebUI，10分钟语音就能训练专属音色模型

【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data <= 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI

朋友问我："你现在鼓捣AI变声，能不能把我也变成会唱歌的人？"我说能，但条件是——先交出10分钟干净的声音。三个小时后，他的"声音替身"在耳机里唱完了一整首歌。完成这场魔术的，正是免费开源的RVC WebUI（Retrieval-based-Voice-Conversion-WebUI），一款宣称"用不超过10分钟语音数据即可训练出高质量模型"的AI变声工具。今天这篇文章，就把我从零到一跑通它的完整经历拆给你看。

它靠的不是"模仿"，而是"检索" 🔍

在动手之前，我想先讲清楚一件事：RVC 和传统变声器走的是两条完全不同的路。

传统变声器的工作方式是修改音高和频率，本质是给声音"涂脂抹粉"，出来的效果往往机械感十足，还容易让你的声音串进目标音色。而 RVC 基于 VITS 架构，采用top1 检索替换：它从训练集特征中检索最相似的特征来替换输入源特征，从机制上杜绝音色泄漏——这就是它音质自然的根本原因。

它不怕数据少，底气来自一个用了接近50小时开源高质量 VCTK 训练集训练的底模，且无版权顾虑。你可以把它理解成"请了个唱功扎实的底子，再用你的声音给它化妆"。

一句话小结：RVC 的聪明之处，是让"你的声音"去"检索匹配"而非"硬套模板"。

出发前的行囊：装环境、备模型 🎒

既然原理清楚了，就跟着我一步步把工具搬回家。整个过程需要 Python 3.8 及以上版本，先在终端克隆项目：

git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI

安装依赖时按你的显卡选对应文件：

• NVIDIA 显卡：pip install -r requirements.txt
• AMD/Intel 显卡（Windows）：pip install -r requirements-dml.txt
• A卡 ROCM（Linux）：pip install -r requirements-amd.txt
• I卡 IPEX（Linux）：pip install -r requirements-ipex.txt

依赖装完还没完，RVC 推理和训练还依赖一批预模型，包括assets/hubert/hubert_base.pt、assets/pretrained（用 v2 模型还要准备assets/pretrained_v2）、人声分离用的assets/uvr5_weights，以及音高提取算法 RMVPE 所需的rmvpe.pt。好在tools/目录下提供了下载脚本，照着清单补齐即可，另外记得装好ffmpeg。

不同显卡驱动、Python 版本对应的依赖可能有差异，具体以官方文档说明为准。

启动你的"录音棚"：一个浏览器搞定一切

模型备齐，启动 WebUI 就一行命令：

python infer-web.py

Windows 用户更省事，直接双击go-web.bat；macOS 用户执行sh ./run.sh。启动后浏览器会自动打开http://localhost:7865，看到的就是这个项目的全部战场。

界面大致分成两大块：训练推理界面负责从数据处理到模型训练的完整链路；实时变声界面则对应低延迟的实时玩法（对应go-realtime-gui.bat）。你不需要写任何代码，点选参数、点按钮即可。

从一条音频到专属音色：训练全流程 🎙️

这是整个项目最有成就感的环节，流程是：准备数据 → 预处理 → 特征提取 → 训练 → 构建索引。

第一步，准备数据。官方推荐至少收集10~50 分钟低底噪、无混响的干净语音。数据宁精勿滥：底噪大、音质差的数据，模型学到的也是噪音。

第二步，训练。在界面里设置实验名、选择底模版本和采样率，剩下的交给程序。关于 epoch，官方 FAQ 给了很实在的建议：训练集音质差底噪大时，20~30 就够，调太高反而是"低音质数据拖垮底模"；如果数据质量高、时长足，调到 200 也完全没问题，训练速度很快。

第三步，构建索引。训练完成后还需要生成检索用的索引文件，让"检索替换"有据可依。

这里有个新手必踩的坑，提前帮你排掉：训练结束后，logs/实验名/下的几百 MB 的 pth 不是用来推理分享的，那是保存实验状态、方便复现和继续训练的；真正拿来推理和分享的，是weights/文件夹下60+MB 的 pth 文件。

让声音"活"起来：文件变声与实时变声 ⚡

模型出炉，立刻验证成果。在推理页填入音频路径、选择音高提取算法，试听几遍——第一次听到自己的声音唱出陌生旋律时，那种感觉相当奇妙。

如果你有一整批音频要处理，不必一个个手动点：项目提供了批量推理脚本tools/infer_batch_rvc.py，用命令行传入输入路径、模型名、index_rate、device等参数即可批量输出，适合做配音、翻唱合集的场景。

想玩实时？启动go-realtime-gui.bat，项目目前已经实现端到端 170ms 延迟；如果使用 ASIO 输入输出设备，甚至能压到90ms 左右（但比较依赖硬件驱动支持）。这个延迟水平，用在游戏直播、实时连麦里基本感知不到明显滞后。

调音台上三个关键旋钮，把效果调到最自然

参数不用全懂，但下面几个"旋钮"直接影响听感，值得你动手调一调：

• f0_method（音高提取算法）：推荐 RMVPE。它来自 InterSpeech2023 的研究成果，效果显著优于同类算法，能根治哑音问题，而且比 crepe_full 更快、资源占用更小。
• index_rate（检索比例）：数值越高，输出越贴近训练集音色；越低则越接近原声。一般从 0.5~0.8 之间试起，找到"自然度"和"音色保持"的平衡点。
• is_half（半精度推理）：开启后显存占用和计算量显著下降，大多数显卡默认开启；如果遇到显存不足，还可手动调小configs/config.py结尾的x_pad、x_query、x_center、x_max四个参数。

另外强烈推荐一个隐藏玩法：模型融合。在 ckpt 处理选项卡里用 ckpt-merge，可以把两个模型的音色特征按比例混合，创造出独一无二的新声线——这比重新训练省时太多了。

新手最容易踩的四个坑，我替你踩过了

1. 分享错了模型文件：把logs/下几百 MB 的 pth 当成品发出去，对方推理时会报缺 key 的错误。正确做法是使用weights/下 60+MB 的 pth，或用 ckpt 小模型提取功能导出。
2. 启动报 "Expecting value"：多半是电脑开了系统代理/全局代理，关掉再试，服务端的代理（如学术加速）也要一并关闭。
3. 训练报 ffmpeg error / utf8 error：大概率不是 ffmpeg 的锅，而是音频路径含空格、括号或中文，把训练集放到纯英文无特殊字符的路径下即可解决。
4. CUDA out of memory：训练阶段缩小 batch size；推理阶段调小上述x_pad系列参数。4G 显存以下的显卡基本可以放弃，4G 显存的卡还有救。

你的第一次AI变声实验，现在就可以开始

回头看，整个过程并不神秘：装环境、下模型、录数据、点按钮。你不需要理解神经网络的每个细节，只需要按官方推荐的参数走一遍，就能获得第一版属于自己的AI变声模型。之后再去查文档，把它调得越来越像"你"。

遇到问题也别慌，项目文档就是最好的老师：常见问题与避坑清单在docs/cn/faq.md，历史更新看docs/cn/Changelog_CN.md，英文用户可阅读docs/en/README.en.md和docs/en/training_tips_en.md，里面有很多实测经验。

现在，去录一段你自己的声音吧。10分钟后，你会听见一个既熟悉又陌生的"你"，在另一个声线里开口说话。

【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data <= 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI