从嵌入式音频到口型同步：基于Teddy Ruxpin的DIY故事玩具改造全流程

1. 项目概述与核心价值

给一个会讲故事的毛绒玩具换上全新的声音和故事，让它能用你熟悉的声音为你或你的孩子朗读，这听起来像是一个充满温情的魔法。Teddy Ruxpin，这款诞生于上世纪80年代、在2017年复刻的经典动画玩具熊，其内部精密的机械结构和可编程的音频系统，为我们实现这个魔法提供了绝佳的硬件平台。它本质上是一个集成了嵌入式控制器、音频解码器和多个舵机的“机器人”，通过预编程的BIN文件来控制音频播放与口型、眼睛的同步动作。

这个项目的核心，远不止是简单的“换音”。它涉及到一套完整的数字内容生产流程：从音频的录制与专业处理，到利用语音识别算法（Rhubarb Lip Sync）自动生成口型同步数据，最后通过Python脚本将音频、口型数据和原始固件“缝合”成一个新的、可被玩具硬件直接执行的故事文件。整个过程，是将创意（自定义故事）、技术（音频处理、数据生成、脚本编程）和硬件（玩具的嵌入式系统）深度融合的实践。对于开发者、硬件爱好者或是想为孩子创造独特礼物的家长而言，这不仅是一个有趣的DIY项目，更是一次深入理解嵌入式媒体播放、时间轴同步和自动化内容生成流程的绝佳机会。

2. 硬件准备与“换肤”手术

2.1 物料清单与玩具拆解要点

工欲善其事，必先利其器。首先，你需要一个2017年或之后版本的Teddy Ruxpin玩具，这个版本内部主控芯片的固件是可被我们读取和修改的。在二手平台很容易以不错的价格淘到。此外，你还需要一个尺寸相近（大约10英寸高）的毛绒玩偶作为新“皮肤”，我选择的是迪士尼的Figment小恐龙，它的嘴部弧线与Teddy非常匹配。

拆解Teddy Ruxpin需要一点耐心和细心。关键步骤如下：

1. 移除外部衣物：先脱掉它的背心和衬衫，你会看到一根固定衬衫的扎带，剪断它。
2. 断开内部连接：打开Teddy背后的缝合线，你会看到身体内部有两个JST连接器，分别连接到左右手掌内的微动开关。务必先小心拔下这两个连接器，这是避免损坏线缆的关键。
3. 取出机械核心：用拆线器小心地拆开Teddy背部的缝线，直到你能将整个机械内胆（包含主板、扬声器、眼睛和嘴巴的舵机结构）完整取出。这个过程要轻柔，避免扯断任何排线或细小的电线。
4. 移植手掌开关：将Teddy的手掌翻过来，拆下里面的微动开关以及固定开关的那块小衬布。这块衬布和开关将是我们移植到新玩偶身上的关键部件。

注意：拆解时，建议对每一步进行拍照记录，尤其是线缆的连接方式和走线位置，这会在后续组装时帮你大忙。

2.2 新玩偶的改造与组装

接下来是对新玩偶Figment的改造。目标是让Teddy的机械内胆能严丝合缝地放入，并且嘴巴和眼睛的传动机构能与新皮肤对齐。

1. 开口与掏棉：从Figment的后颈处下刀，开一个小口，然后逐渐扩大。将内部的填充棉取出大部分，暂时保留。开口宁小勿大，以减少后期缝合的工作量。
2. 安装手掌开关：将Figment的手掌也翻过来，把从Teddy身上取下的衬布手工缝到Figment手掌内侧的相应位置。然后将微动开关塞入衬布中固定，确保当手掌翻回正面时，从外部按压能触发开关。
3. 处理眼睛：这是让新角色“活”起来的关键。Figment的眼睛是绣上去的，我们需要用美工刀小心翼翼地沿着黑色瞳孔的内缘将其切割下来。保留一点黑色边缘可以起到“眼线”的效果，防止织物脱线，也让眼神更生动。切割后，我用黑色马克笔涂黑了切口处露出的白色线头，让眼窝内部看起来更自然。
4. 总装与调试：确保Figment头部和面部的填充棉都已清空，然后将Teddy的机械内胆小心地塞入。连接好手掌的JST插头。接下来是最精细的调整：你需要一边从外部观察，一边在内部微调机械结构的位置，确保Teddy的嘴巴驱动杆正对Figment嘴巴的内侧，并且眼睛的连杆机构能对准我们切割出的孔洞。
5. 填充与固定：位置调整满意后，将之前取出的部分填充棉塞回头部后方和周围，目的是让玩偶的皮肤紧绷在机械结构上，特别是嘴部区域，紧密的贴合能让口型动作更清晰、更逼真。
6. 缝合与美化：从背部开始缝合。由于需要留出背部开关和电池仓的访问通道，我们无法完全缝合，只需尽可能收紧开口即可。对于像我遇到的Figment眼距稍窄的问题，我不得不在两眼之间纵向切开一个小口以容纳机械结构，事后用紫色水钻粘贴遮盖，反而成了个性的装饰。最后，我在嘴角处加了几针，让嘴部皮肤更贴合传动机构，相当于给玩偶做了个“拉皮手术”，大幅提升了口型动画的表现力。

3. 音频内容创作与预处理

3.1 音频规划与录制技巧

Teddy Ruxpin的存储空间允许我们替换一个开场文件（Intro.bin）和三个主要故事文件（Story01.bin到Story03.bin）。每个文件的理论时长上限接近20分钟，但出于稳定性和体验考虑，我建议将自定义内容控制在5-10分钟以内。

录制高质量音频是成功的一半。我的目标是让侄女们听到祖父母的声音，因此我请他们进行录制。这里有几个实用建议：

• 设备选择：现代智能手机的录音质量完全足够。请他们使用手机自带的“语音备忘录”或类似App，在安静的房间内录制。
• 录制技巧：让讲述者保持手机距离嘴巴约20厘米，避免喷麦。可以准备一个简单的脚本或故事书，让录制更流畅。提醒他们用比平时稍慢、更清晰的语速讲述，这有助于后续口型同步的准确性。
• 文件传输：录制后，通过App的分享功能直接发送音频文件到你的电脑，避免使用社交软件的语音消息功能（通常会被严重压缩）。

对于没有灵感的讲述者，AI可以成为得力助手。我使用了一个简单的提示词，为我的侄女们生成了一首个性化的童谣故事：“请以《鹅妈妈童谣》的风格，创作一篇约800字、关于澳大利亚动物与名叫Daisy和Billie的小女孩们成为朋友的押韵故事。” 这为录音提供了完美的底稿。

3.2 音频格式的精准转换

玩具的固件对音频格式有严格的要求：16位深度、单声道（Mono）的WAV文件，并且采样率必须是16kHz或32kHz。不满足任何一项都会导致脚本运行失败或玩具无法播放。

我强烈推荐使用免费开源的Audacity进行格式转换。以下是确保万无一失的“黄金流程”：

1. 导入与检查：将收到的音频文件（可能是.m4a, .mp3等）导入Audacity。在屏幕左下角查看项目信息，确认当前的采样率（如44.1kHz）和音轨是立体声还是单声道。
2. 统一采样率：点击菜单栏轨道->重采样，将采样率更改为16000或32000。通常16kHz对于语音已足够，且文件更小。
3. 转换为单声道：如果音轨显示为“立体声”，点击音轨名称左侧的下拉箭头，选择分割立体声音轨。然后删除其中一个音轨，并将剩下的那个音轨再次通过下拉菜单转换为单声道。更简单的方法是直接点击菜单轨道->混音->混音为单声道。
4. 设置项目格式：这是关键一步！在导出前，需要设置整个项目的格式。点击菜单编辑->首选项->库。在“默认采样率”下拉框中，选择你上一步设置的采样率（16kHz或32kHz）。然后进入质量选项卡，将“默认采样格式”设置为16位PCM。
5. 导出WAV：点击文件->导出->导出为WAV。在弹出窗口中，确保“保存类型”为“WAV（Microsoft）”，并点击“保存”。在接下来的“编辑元数据”窗口直接点确定，然后在“指定输出格式”窗口中，务必确认“编码”下拉框选择的是“无压缩PCM”，格式选项自动会是“16位PCM”。点击“确定”导出。

实操心得：我曾多次因格式错误导致脚本报错。最稳妥的“笨办法”是，从项目提供的已知可用的intro-16bit.wav示例文件开始。在Audacity中打开这个示例文件，然后直接将你的录音文件拖入同一个项目窗口。这样，你的录音会自动继承示例文件的所有正确格式设置（采样率、位深），最后直接导出即可。这能绕过所有复杂的设置项。

将处理好的文件按最终用途命名，如Intro.wav,Story01.wav，并集中放在一个专门的文件夹（例如Rhubarb_Project）中，方便后续管理。

4. 口型同步数据生成与Rhubarb工具详解

4.1 Rhubarb Lip Sync 的工作原理与安装

口型同步的核心是Rhubarb Lip Sync这个命令行工具。它并非通过复杂的语音识别来理解单词，而是采用了一种更高效、更适用于动画的方法：音素识别。它会分析音频的频谱特征，识别出类似元音（如/a/、/i/）、辅音（如/p/、/b/）等发音单元（音素），并将这些音素映射到一系列预设的、通用的口型形状上。

Rhubarb内置了一个音素到口型的映射模型。它会遍历整个音频文件，在时间轴上标记出每个音素发生的起止时间，并为其分配一个代表口型形状的字母代码（A-X）。最终输出就是一个结构化的JSON文件，里面包含了这条时间轴和对应的口型序列。

安装步骤：

1. 访问Rhubarb Lip Sync的GitHub发布页面，下载对应你操作系统（Windows, macOS, Linux）的最新版本。对于本教程，1.13.0版本已验证可用。
2. 解压下载的压缩包。在macOS或Linux上，你可以将可执行文件rhubarb移动到/usr/local/bin/目录下，这样可以在终端任何位置直接调用。或者，像我一样，在项目文件夹（如Rhubarb_Project）下创建一个tools子目录，把rhubarb放进去，使用时指定完整路径。
3. 打开终端（或命令提示符/PowerShell），导航到你的项目文件夹，运行rhubarb -h测试是否安装成功，应显示帮助信息。

4.2 生成与解读口型JSON文件

生成口型数据非常简单。在终端中，使用以下命令格式：

/path/to/your/rhubarb -f json -o mouth_intro.json Intro.wav

• /path/to/your/rhubarb：替换为你的rhubarb可执行文件的实际路径。
• -f json：指定输出格式为JSON。
• -o mouth_intro.json：指定输出文件名。
• Intro.wav：输入音频文件。

执行后，你会得到类似下面的mouth_intro.json文件：

{ "metadata": { "soundFile": "Intro.wav", "duration": 6.09 }, "mouthCues": [ { "start": 0.00, "end": 1.23, "value": "X" }, { "start": 1.23, "end": 1.29, "value": "C" }, { "start": 1.29, "end": 1.48, "value": "E" }, { "start": 1.48, "end": 1.58, "value": "A" }, ... ] }

关键数据结构解析：

• mouthCues数组：这是核心，每个对象代表一段持续时间内玩具嘴巴应保持的形状。
• start和end：以秒为单位的时间戳，定义了该口型动作的起止时间。
• value：口型代码，共有9种可能：A, B, C, D, E, F, G, H, X。
  • 闭合嘴巴：A, F, X
  • 半开嘴巴：B, C, G, H
  • 全开嘴巴：D, E

对于Teddy Ruxpin的机械结构，我们不需要区分A、F、X这么细的闭合状态。为了简化手动编辑，我建议在脑海中将其归一化：

• X-> 闭合
• B-> 半开
• E-> 全开

这样，当你阅读JSON文件时，可以快速理解在某个时间点玩具的嘴巴应该是哪种状态。

4.3 处理音乐与歌曲的特殊技巧

如果你想为玩具添加一首歌，会遇到一个挑战：Rhubarb是为语音设计的，它无法区分人声演唱和乐器伴奏。在纯音乐段落，它仍然会生成口型数据，导致玩具在间奏时嘴巴乱动，非常不自然。

我的解决方案是“双轨制”：

1. 创建“口型参考轨”：录制一个纯人声版本，清晰、节奏准确地念出或清唱出歌词（不带背景音乐）。用这个文件通过Rhubarb生成口型JSON文件（mouth_song.json）。这个文件记录了何时该动嘴巴。
2. 使用“最终音频轨”：准备最终带伴奏的完整歌曲WAV文件（Song_Final.wav），并确保其格式符合要求（16位，16/32kHz，单声道）。
3. 在合成时“张冠李戴”：在后续使用earpatch.py脚本时，我们传入--wav Song_Final.wav（最终带音乐的音频）和--rhubarb-json mouth_song.json（根据清唱生成的口型数据）。这样，口型动作会严格对应歌词时间点，而在音乐间奏时，由于清唱轨没有声音，口型数据会是连续的“X”（闭合），嘴巴就会保持安静。

5. Python脚本集成与最终BIN文件合成

5.1 环境搭建与脚本获取

这是将音频、口型数据和原始玩具固件打包成新故事文件的最后一步。我们需要一个关键的Python脚本：earpatch.py，它来自Adafruit修改的snxrom工具集。

1. 安装Python：确保你的系统已安装Python 3。可以在终端输入python3 --version检查。
2. 安装依赖库：脚本依赖一个修改版的G.722.1音频编码器。在终端中运行以下命令安装：

   pip3 install g722-1-mod

3. 获取脚本：从Adafruit的GitHub仓库获取snxrom工具。你可以直接下载ZIP包，或使用git克隆：

   git clone https://github.com/adafruit/snxrom.git

   将整个snxrom文件夹复制到你的项目目录下，或者只取出其中的earpatch.py脚本。

5.2 准备原始模板与执行合成

Teddy Ruxpin的.bin文件并非简单的音频容器，它是一个包含音频数据、口型动画时间轴、眼睛动画触发点等多种信息的复合固件。earpatch.py脚本的工作原理是“打补丁”：它需要一个原始的、有效的.bin文件作为模板，然后用你的新音频和口型数据替换掉其中的对应部分，同时保留其他所有结构（如文件头、眼睛动画逻辑等）。

操作步骤：

1. 备份原始文件：通过USB线连接Teddy Ruxpin，电脑上会出现一个名为NO_NAME的U盘。进入Books文件夹，找到Intro.bin，将其复制到你的项目文件夹，并重命名为orig_Intro.bin。这就是我们的模板。
2. 执行合成命令：在终端中，导航到你的项目文件夹，确保orig_Intro.bin、处理好的Intro_32k.wav（或Intro_16k.wav）和mouth_intro.json都在同一目录，或者使用正确的文件路径。运行命令：

   python3 snxrom/earpatch.py --wav Intro_32k.wav --rhubarb-json mouth_intro.json orig_Intro.bin new_Intro.bin

   • --wav：指定你转换好的16/32kHz WAV音频文件。
   • --rhubarb-json：指定Rhubarb生成的口型JSON文件。
   • orig_Intro.bin：原始模板文件。
   • new_Intro.bin：将要生成的新故事文件。

如果一切顺利，脚本会快速运行完毕，并在当前目录生成new_Intro.bin文件。

5.3 部署测试与迭代优化

1. 部署：将生成的new_Intro.bin文件重命名为Intro.bin（注意大小写必须与原始文件完全一致），然后复制回Teddy Ruxpin的NO_NAME/Books文件夹，覆盖原文件。
2. 安全移除：在操作系统中断开或弹出NO_NAMEU盘。
3. 硬件重启：关闭玩具背面的电源开关，拔掉USB线，然后再打开电源。此时，Teddy应该会播放你的新开场白了！

观察与调试：仔细观看口型同步效果。如果发现某些词语的口型对不上（比如元音发音时嘴巴没张开），就需要回到口型JSON文件进行微调。

手动编辑JSON技巧：

• 用文本编辑器（如VS Code、Notepad++）打开mouth_intro.json。
• 结合Audacity打开对应的WAV音频文件，边播放边对照时间轴，找到口型不同步的位置。
• 在JSON中定位对应时间段的mouthCues对象。你可以：
  • 调整时间：微调start或end值，让口型变化点更精准。
  • 修改口型：将value从B（半开）改为E（全开），以强调一个大的元音。
  • 插入/删除关键帧：在需要闭嘴的静音处，可以插入一个value为X的片段。
• 编辑时必须遵守的规则：
  1. 保持JSON语法正确（逗号、括号）。
  2. 所有start时间必须严格递增。
  3. 每个end时间不能超过下一个片段的start时间。
  4. value只能是那9个大写字母之一。

编辑保存后，重新运行earpatch.py命令生成新的.bin文件，再次部署测试。对于较长的故事文件，建议先重点调试开头几分钟，掌握规律后再处理其余部分。

6. 故障排除与经验总结

6.1 常见错误与解决方案

在实践过程中，你可能会遇到以下典型问题：

6.2 项目心得与进阶建议

经过几个故事的定制，我深刻体会到，前期音频的质量和格式处理是决定项目成败的“隐形门槛”。Rhubarb的自动生成已经相当出色，但对于追求完美同步或处理歌曲、特殊音效时，手动微调JSON是必不可少的步骤。这更像是一种数字时代的“定格动画”制作，你需要一帧一帧（在这里是一秒一秒）地去雕琢角色的表演。

一个提升效率的技巧是：在Audacity中，将口型JSON文件的时间点以标签的形式导入音频轨道。你可以写一个简单的Python脚本将JSON中的start时间转换为Audacity的标签文件（.txt），然后导入。这样就能在音频波形上直观地看到每个口型变化点，调整起来事半功倍。

这个项目的魅力在于它的可扩展性。你不仅仅是为Teddy Ruxpin定制内容，而是掌握了一套为类似嵌入式动画设备生成同步媒体内容的流程。原理相通，工具链（Rhubarb + Python脚本处理）可以迁移。例如，你可以设想为其他带有舵机的玩偶、甚至自己制作的动画角色模型添加同步语音功能。从祖父母讲的故事，到孩子自己录制的生日祝福，再到一段有趣的科普知识，硬件只是一个载体，真正赋予它个性和温度的，是你注入其中的创意与情感。当看到孩子抱着玩偶，听到里面传出亲人的声音而露出惊喜笑容时，你会觉得所有技术上的折腾都是值得的。