当前位置：首页 > news >正文

声音克隆不是梦：用RVC WebUI和10分钟语音打造属于你的AI变声模型

news 2026/8/17 17:53:12

声音克隆不是梦：用RVC WebUI和10分钟语音打造属于你的AI变声模型

【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data <= 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI

从一场翻车直播说起

老周是B站一位几千粉的游戏主播，他有个执念：想让直播间里的解说声变得更有"角色感"。他试过各种变声器，调出来的效果要么像喉咙里卡了痰，要么机械感重到观众刷"电子包浆警告"。

直到某个深夜，他在网上翻到一个叫Retrieval-based-Voice-Conversion-WebUI（RVC WebUI）的开源项目——一个专门做 AI 变声和声音克隆的工具。抱着死马当活马医的心态，他录了十分钟自己的声音丢进去训练，第二天晚上，直播间里的"柯南音""御姐音"轮番上线，观众直呼"主播换人了"。

老周的经历不是个例。这个项目最迷人的地方在于：它把声音克隆的门槛压到了"录十分钟语音"，而且完全免费开源。这篇文章就带你从头到尾走一遍这条路，顺便把那些没人告诉你的坑提前填平。

第一幕：这东西到底是啥

简单说，RVC WebUI 是一套"拿别人的声音模型换到你的嘴上来"的完整流水线。你给它一小段目标音色的录音，它就能学出这套音色的"脾气"，然后你说什么、唱什么，出来都带着那套音色的味儿。

项目全名里的"Retrieval-based"（基于检索）是它的灵魂所在。打个比方：传统变声器像是给声音套了个固定滤镜，谁说话都是一个味儿；而 RVC 的做法是——它先给训练音频里的每个片段"拍证件照建档"（提取声音特征），推理时再从档案库里检索最相似的那张"照片"来顶替输入的声音特征。这就是官方说的"top1 检索替换"，好处是能死死按住"音色泄露"，不会让原声的痕迹漏进结果里。

整套东西被装进一个网页界面里，不用写一行代码。项目目录下的infer-web.py就是入口，界面分成了模型推理、伴奏人声分离、训练、ckpt处理、Onnx导出几个区域，每个区域管一件具体的事。

第二幕：为什么它敢说自己"10分钟出活"

市面上不是没有声音克隆工具，但大多要求你喂几个小时的高质量素材，还要一块好显卡。RVC 的三个底气，值得先说说。

用"少数据"撬动"好效果"

项目描述里那句 "voice data <= 10 mins" 不是营销话术。底模用接近50小时的高质量开源语音训练集打好地基，你训练的其实是"站在巨人肩膀上换衣服"。10分钟干净语音就能出能听的效果，想更稳就攒到30-50分钟。

音高提取：哑音问题的解药

AI 变声翻车最常见的情况就是"哑音"——高音部分突然失声。RVC 内置了目前效果最顶尖的RMVPE人声音高提取算法，比传统的 crepe 更快、更省显存，还能根治哑音。这对爱唱高音的歌姬音色来说，是实打实的救命稻草。

一张入门显卡就能跑

训练速度被优化到"相对较差的显卡也能快速训练"，推理端到端延迟能压到90-170毫秒（配 ASIO 设备甚至到90毫秒），直播时几乎感觉不到延迟。N 卡、A 卡、I 卡都有对应的依赖文件，后面细说。

第三幕：亲手把"声音克隆"跑起来

这部分我们按老周的实操顺序来，每一步都给足细节。

3.1 先把环境铺好

老周用的是 Linux 机器，但流程在 Windows 上同样成立。第一步当然是拿到代码：

git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI

然后按你的显卡选依赖（Python 版本要在 3.8 以上）：

NVIDIA 显卡：pip install -r requirements.txt
AMD/Intel 显卡：pip install -r requirements-dml.txt
AMD 的 ROCm 方案（仅 Linux）：pip install -r requirements-amd.txt
Intel 的 IPEX 方案（仅 Linux）：pip install -r requirements-ipex.txt

如果 torch 没装过，先执行pip install torch torchvision torchaudio。另外别忘了ffmpeg——Ubuntu 用sudo apt install ffmpeg，Mac 用brew install ffmpeg，Windows 用户把 ffmpeg.exe 和 ffprobe.exe 丢到项目根目录就行。很多"程序打不开"的报错，最后都发现是 ffmpeg 缺席。

3.2 预训练模型这一关

RVC 不是纯靠你的数据从零硬训，它需要几个"地基文件"。对照清单把它们放进对应目录：

assets/hubert/—— 声音特征提取模型
assets/pretrained/—— v1 底模（想用 v2 模型还要再放assets/pretrained_v2/）
根目录放rmvpe.pt—— 音高提取模型参数

这些文件在tools/download_models.py里能找到下载入口，跟着跑一遍最省心。

3.3 启动你的 WebUI

一切就绪后，一句命令唤醒界面：

python infer-web.py

然后浏览器打开http://localhost:7865。Windows 用户更省事，直接双击go-web.bat。要是想玩实时变声，双击go-realtime-gui.bat走另一个界面。

3.4 训练：从录音到模型

训练流程在界面的"训练"区域完成，老周的心得是把它想成"做饭"：

备菜（数据预处理）：准备10分钟以上的干净人声，底噪越低越好。推荐用自带的"伴奏人声分离"功能（调用的就是 UVR5 模型）先把伴奏和混响剥掉，只留纯人声。
腌制（特征提取）：界面会自动提取音高和特征，这就是前面说的"给声音拍证件照建档"，存进logs/实验名/目录。
下锅（正式训练）：设置 batch size、总 epoch 数，然后开训。这里有个参数哲学值得记住——训练集音质差底噪大，20-30个 epoch 就够了，硬往上加只会让模型学走底噪；音质好、有个人特色的素材，大胆开到200个 epoch，声音细节会更抓人。

训练完，界面会生成一个索引文件（added_xxx.index），它相当于是特征档案库的"目录"，推理时检索全靠它。

3.5 推理：让声音"上身"

切到"模型推理"区域的"单次推理"页：上传一段你要变声的音频，选好刚训好的模型，指定音高提取方法，点一下，输出就带上了目标音色。

这里有三个旋钮是效果好坏的分水岭：

f0 算法怎么选：追求音质选rmvpe（准、快、不哑音），想更细腻可以试crepe，机器一般或追求速度就pm。老周的默认答案是 rmvpe。
index_rate 拧到多少：这个参数直接控制"检索档案"的介入强度，范围0到1。调高，音色更贴训练集、抗音色泄露；调低，结果更依赖模型本身的泛化。底模和推理源音质比你的训练集好时，音质可能被"带高"，但代价是音色会往它们的风格靠——这就是官方 FAQ 里说的"音色泄露"。老周一般从 0.5-0.75 起步，边听边拧。
is_half 要不要开：半精度推理能砍掉一半计算负载，显存吃紧时是保命开关，直播场景基本必开。

想一次处理整个文件夹？界面"批量推理"页可以直接上，或者用tools/infer_batch_rvc.py脚本跑，自动保存结果、多模型并行，适合给视频配音的批量活。

第四幕：还有哪些值得玩的花样

走到这步你已经"会用"了，接下来是"玩出花"的环节。

直播实时变声

这是老周最爱的部分。走go-realtime-gui.bat的实时界面，提前把几个角色模型训好，配合虚拟声卡把系统声音路由进 RVC，再用快捷键在音色之间横跳。延迟实测在 90-170ms 之间，打游戏、唱 K 都够用。显存不够时把configs/config.py里的is_half置 True，再把x_pad、x_query那几个缓冲参数调小，能救回一截。

模型融合：调一杯自己的音色鸡尾酒

想合成一个"既像 A 又带点 B"的新声音？在"ckpt处理"区域用 ckpt-merge 功能，像调鸡尾酒一样设定两个模型的比例。勾兑出的新音色谁都撞不了车，是很多 Up 主做虚拟歌手的秘密武器。

导出 ONNX 去别的平台跑

"Onnx导出"区域可以把模型转成 ONNX 格式（tools/export_onnx.py也行），脱离 WebUI 独立部署到边缘设备，适合做语音助手的自定义音色。项目里还附了tools/infer_cli.py，命令行玩家可以像这样传参推理：

python tools/infer_cli.py --input_path 输入.wav --model_name 你的模型名 --f0method rmvpe --index_rate 0.66 --device cuda:0 --is_half True

换语言、换场景的小抄

想给视频做多语言配音？先录1小时高质量母语，再用不同语言数据微调，最后走批量推理管线把配音和画面合起来。想做轻量级语音助手？少数据训练+ONNX 导出，一套组合拳下来，小设备也能跑。

翻车现场：常见问题的现场急救

老周踩过的坑，基本都能在项目的 docs/cn/faq.md 里找到答案，这里挑几个高频的提前打预防针：

启动就报 ffmpeg error / utf8 error：八成不是 ffmpeg 的锅，是路径问题。训练集文件路径别带空格、括号和中文，能避开九成玄学报错。
训练完找不到音色：控制台显示 "Training is done. The program is closed." 就是成功，后面紧跟的报错往往是假警报；刷新一下音色列表，还不行就再点一次"训练索引"。
CUDA out of memory：推理就调小 config.py 里的缓冲参数，训练就缩小 batch size。4G 以下显存的卡建议直接放弃训练，老实当推理机。
分享模型到底拷哪个文件：logs/实验名/下那个几百 MB 的 pth 是"实验存档"，不是拿来分享的；该分享的是weights/下 60+MB 的那个小 pth，配合.index索引一起打包才完整。拷错文件，推理时会报 f0、tgt_sr 之类的 key 错误。