145、强化学习控制：从仿真训练到真实部署的端到端控制

145、强化学习控制：从仿真训练到真实部署的端到端控制

仿真里跑得飞起的策略，一上真机就抽风，这事我干了三年，踩坑无数。今天这篇笔记，不聊那些花里胡哨的理论框架，就说说从Isaac Gym里训出来的策略，怎么一步步搬到真实机器人上，中间那些坑，每一个都是真金白银换来的。

先讲个上周刚发生的调试现场。我们有一台六自由度机械臂，任务是把散乱堆叠的积木块按颜色分类抓取。仿真里策略收敛得漂亮，成功率98%，迁移到真机后直接掉到40%以下。最诡异的是，机械臂在接近积木时会出现高频抖动，像得了帕金森。一开始怀疑是控制频率不匹配，查了日志发现仿真里控制频率是50Hz，真机也是50Hz，没问题。后来用示波器抓了电机电流，发现策略输出的力矩指令在相邻控制周期内跳变幅度超过额定值的60%，电机驱动器直接进入过流保护。这个现象在仿真里完全不存在，因为仿真里的电机模型是理想化的，没有电流环饱和限制。

这就是仿真到现实迁移的第一个大坑：动作空间与执行器特性的失配。很多人在仿真里用关节力矩作为动作空间，训练时觉得挺自然，但真机上的电机驱动器通常工作在位置模式或速度模式，力矩模式需要额外的电流环整定，而且响应带宽远低于仿真假设。我的建议是，除非你的硬件平台专门为力矩控制做过优化，否则老老实实用关节位置增量作为动作空间，让底层PID去消化那些高频抖动。位置增量动作空间还有个好处，天然带有积分作用，能消除稳态误差，这在抓取任务里特别重要。

再聊一个更隐蔽的问题：观测空间里的时间对齐。仿真里状态观测是同步的，你发出动作指令，下一帧就能拿到新的状态。真机上传感器有延迟，视觉处理要几十毫秒，关节编码器读数也有通信延迟，这些延迟叠加起来，策