XR-1：首个真正可工作的机器人VLA模型，打通视觉-语言-动作统一表示

1. 项目背景：为什么机器人需要一个“通才”大脑？

如果你最近在关注具身智能或者机器人领域，一定被各种“世界模型”、“端到端模型”刷屏了。从DeepMind的RT系列到斯坦福的Mobile ALOHA，大家都在试图解决同一个核心问题：如何让机器人像人一样，通过观察、理解和思考，最终执行复杂的物理任务？这个链条很长，从“看到什么”（视觉感知），到“理解要做什么”（语言指令理解），再到“具体怎么动”（动作生成），每一步都充满了挑战。

传统的做法是什么？是“拼积木”。视觉模块用一套模型（比如YOLO、DETR），语言理解用另一套（比如BERT、GPT），动作规划再用一套（比如强化学习策略网络）。这种模式的问题显而易见：模块之间信息传递有损耗，每个模块都需要单独标注海量数据来训练，而且一旦环境或任务稍有变化，整个系统就可能需要重新调整甚至重新训练。这就像让一个团队里说不同语言、用不同工具的人协作，沟通成本高，效率低下。

所以，整个领域都在呼唤一个“通才”模型——一个能打通视觉、语言和动作的单一模型。这就是VLA（Vision-Language-Action）模型。理想中的VLA，你给它看一段视频或者一张图片，再告诉它“把桌上的红色杯子拿给我”，它就能直接输出控制机械臂关节运动的序列。这听起来很美好，但实现起来困难重重。最大的难点在于“统一表示”：如何将高维、异构的视觉信息、离散的语言符号和连续、低维的动作空间，映射到同一个语义空间里？之前的很多工作要么只专注于仿真环境，要么只能在特定形态的机器人（比如单一机械臂）上工作，离“真正能干活”还有距离。

这就是XR-1项目出现的原因。当我第一次在GitHub上看到这个由北京人形机器人创新中心等机构开源的仓库时，标题里的“The 1st VLA Model for Robots to Truly WORK”立刻抓住了我。它不是又一个停留在论文和仿真里的玩具，而是明确宣称要支持从UR、Franka到TienKung人形机器人的多种实体平台，并提供了从数据准备、模型训练到真实机器人部署的完整工具链。这让我决定深入代码和文档，看看它到底是如何解决“统一表示”这个核心难题，并让模型“真正工作”起来的。

2. XR-1的核心架构：三阶段训练如何炼成“统一表示”

XR-1的整个设计哲学，都围绕着“学习统一的视觉-运动表示”展开。它的模型架构和训练流程可以清晰地分为三个阶段，像一个精心设计的课程，让模型逐步掌握从感知到行动的完整能力。

2.1 阶段一：视觉-运动对齐（Unified Vision-Motion Contrastive Learning）

这是整个框架的基石。想象一下教一个婴儿认识世界：你指着苹果说“苹果”，同时让他触摸苹果的质地。视觉、语言（声音）、触觉（动作的前身）信息在婴儿大脑中逐渐关联。XR-1的第一阶段做的就是这个“对齐”工作，但它对齐的是视觉和运动。

具体来说，这个阶段采用了一种改进的对比学习框架。模型同时接收两种输入：

1. 视觉观察序列：通常是来自机器人摄像头的一段视频帧。
2. 对应的运动序列：这段时间内机器人执行的动作（如关节角度、末端执行器位姿）。

模型的核心任务，是学习一个共享的嵌入空间。在这个空间里，描述同一段“拿起杯子”任务的视频特征和动作特征，它们的向量表示应该非常接近（正样本对）；而描述“拿起杯子”的视频和“推开杯子”的动作，它们的向量表示应该相距甚远（负样本对）。

注意：这里的“运动”是广义的，不仅包括低级的关节电机指令，在更高级的表示中，也可能包括轨迹、技能原型等。XR-1的巧妙之处在于，它通过一个可学习的“运动编码器”，将不同机器人平台（如UR的6轴关节空间和Franka的7轴关节空间）产生的异构动作数据，投影到同一个标准化的运动表示空间中。这是实现跨平台泛化的关键第一步。

这个阶段的输出，是一个已经初步理解“什么视觉场景对应什么类型运动”的模型。它虽然还不会根据语言指令生成动作，但它已经建立了视觉和运动模态之间的坚实桥梁。

2.2 阶段二：融入语言指令的预训练（Language-Conditioned Pretraining）

有了视觉-运动对齐的基础，第二阶段引入语言指令作为条件。此时，模型的输入变成了三元组：(视觉观察， 语言指令， 运动动作)。任务目标变为：给定当前的视觉观察和语言指令，预测接下来要执行的动作序列。

这个阶段通常采用类似“掩码预测”或“扩散模型”的生成式架构。以扩散模型为例，过程是这样的：

1. 模型接收当前图像和指令“打开抽屉”。
2. 扩散模型从一个随机噪声开始，逐步去噪，生成一个未来动作序列的分布。
3. 在训练时，用真实的“打开抽屉”动作序列作为目标，让模型学会在指令条件下，生成符合任务目标的合理动作。

这里的一个技术细节是如何融合语言信息。XR-1没有简单地将语言指令的文本嵌入直接拼接到视觉特征上，而是设计了一个交叉注意力模块。视觉特征作为Query，语言特征作为Key和Value，让模型动态地根据指令内容，去关注图像中相关的区域（比如“抽屉把手”），从而生成更精准的动作。

经过第二阶段训练，模型已经具备了初步的“听令行事”能力。但它学到的可能还是一些比较通用、粗糙的策略。

2.3 阶段三：针对具体任务的微调（Task-Specific Fine-Tuning）

这是让模型“真正工作”的临门一脚。前两个阶段通常在大型、多样的数据集上进行，可能包含仿真数据、不同机器人的演示数据等。而第三阶段，则使用目标机器人（比如你实验室的那台Franka）在目标场景（比如你的厨房操作台）收集的少量高质量演示数据进行微调。

为什么这一步不可或缺？因为真实世界的物理特性（摩擦力、物体重量、相机畸变、灯光条件）和机器人本身的动力学特性（电机响应、齿轮间隙）是极其独特的。大规模预训练模型学到了通用的“抓取”概念，但可能不知道你的Franka夹爪的具体夹持力是多少牛顿，或者你的摄像头有特定的颜色偏差。

第三阶段的微调数据量不需要很大（几十到几百条高质量轨迹往往就足够），但它能极大地提升模型在特定硬件上的成功率和动作质量。XR-1框架对此提供了极大便利，它的统一数据加载器可以无缝接入你收集的新数据，并快速启动微调。

实操心得：在阶段三，学习率要设置得非常小（通常是预训练的1/10到1/100），并且经常需要冻结模型的大部分底层参数，只微调最顶层的几个网络层。这既能快速适应新场景，又避免了在少量数据上“灾难性遗忘”之前学到的通用知识。XR-1的脚本通常已经内置了这些最佳实践。

3. 从零开始：手把手部署XR-1到真实机器人

理论讲得再多，不如实际跑通一次。下面我将以一台Franka Research 3机械臂为例，详细拆解从环境搭建到模型部署的完整流程。这个过程同样适用于UR、TienKung等其他平台，核心逻辑是相通的。

3.1 环境准备与依赖安装

第一步是准备好你的开发环境。XR-1基于Python 3.10和PyTorch，并深度集成了LeRobot生态。我强烈建议使用Conda来管理环境，避免依赖冲突。

# 1. 克隆仓库 git clone https://github.com/Open-X-Humanoid/XR-1.git cd XR-1 # 2. 创建并激活Conda环境 conda create -y -n xr1 python=3.10 conda activate xr1 # 3. 安装核心依赖 # 这里使用项目提供的安装方式，`[xr1]`会安装额外的机器人相关依赖 pip install -e ".[xr1]"

安装过程可能会持续一段时间，因为它会拉取包括PyTorch、Transformers、LeRobot等在内的大量包。如果遇到网络问题，可以考虑为pip配置镜像源。

常见坑点一：CUDA版本与PyTorch匹配。如果你的机器有NVIDIA GPU，请确保系统安装的CUDA版本与PyTorch官方提供的预编译版本匹配。例如，PyTorch 2.x通常对应CUDA 11.8或12.1。不匹配会导致无法使用GPU。安装后，可以在Python中运行import torch; print(torch.cuda.is_available())来验证。

常见坑点二：LeRobot版本兼容性。XR-1的代码是基于LeRobot dataset v2.1版本开发的。而LeRobot本身迭代很快。虽然项目说保留了原结构以便集成，但如果你之前安装过其他版本的LeRobot，最好在干净的Conda环境中进行，或者仔细查看pyproject.toml文件里锁定的版本。

3.2 数据准备：理解“统一数据加载器”

数据是模型的燃料。XR-1最大的亮点之一是其设计的“统一数据加载器”，它能处理来自不同源头（EGO4D、UR、Franka等）、不同形态（视频、关节状态、相机位姿）的数据。

项目提供了一个异构数据集的样本，我们可以先下载它来熟悉格式：

# 使用Hugging Face Hub下载 bash scripts/hf_xr1_dataset_sample_download.sh

下载的数据集结构大致如下：

XR-1-Dataset-Sample/ ├── franka_demo/ # Franka机器人的演示数据 │ ├── episode_0/ │ │ ├── images/ # 多视角相机图片 │ │ ├── actions.npy # 动作序列 │ │ ├── observations.npy # 状态观测（如关节角度） │ │ └── language_instruction.txt # 任务指令 │ └── ... ├── ur5e_demo/ # UR5e机器人的演示数据 └── ego4d_clips/ # EGO4D第一人称视频数据（用于预训练）

关键点在于，无论数据来源如何，加载器都会通过一个统一的配置字典来读取。你需要创建一个YAML配置文件，告诉加载器你的数据在哪、使用哪些传感器、动作的维度是多少。XR-1在examples/xr1_cross_dataset_and_embodiment_dataloader.py中给出了一个强大的示例，展示了如何混合加载Franka和UR的数据进行训练。

对于你自己的机器人：如果你想收集数据，核心是生成符合LeRobot v2.1格式的数据集。你需要同步记录：

1. 图像：最好是多视角，RGB格式。
2. 动作：机器人的控制命令。可以是关节角度、关节速度、末端执行器位姿（pose）或笛卡尔空间速度。必须保持维度一致。
3. 指令：每个任务片段（episode）对应的自然语言描述。
4. 观测：（可选但推荐）机器人的状态，如关节角度、力传感器读数等，可用于更复杂的策略。

项目提供的any4lerobot工具可以帮助你将其他格式的数据转换过来。

3.3 模型下载与快速微调

假设我们想用Franka数据快速微调一个模型。我们不需要从零预训练，而是下载官方预训练好的基础模型，然后在自己的数据上进行“阶段三”的快速微调。

# 1. 下载基础视觉和语言模型（如SigLIP, PaliGemma） bash scripts/hf_download.sh # 2. 下载XR-1的预训练权重（Stage1和Stage2） bash scripts/hf_xr1_pretrain_model_download.sh # 3. 进行阶段三的快速微调 # 使用调试模式先跑通流程，确保一切配置正确 bash scripts/xr1_stage3_finetune.sh --debug --dataset /path/to/your/franka_data

这里有几个参数需要你根据实际情况修改：

• --dataset: 指向你准备好的数据集路径或数据集配置名。
• 在scripts/xr1_stage3_finetune.sh脚本内部，你还可以调整：
  • train.batch_size: 根据你的GPU内存调整。从1或2开始尝试。
  • train.num_epochs: 微调周期，对于快速适应，10-20个epoch可能足够。
  • model.policy: 选择策略网络类型，如diffusion或transformer。扩散策略通常更平滑、稳定，是默认推荐。

运行后，模型会在outputs/目录下保存检查点。你可以使用TensorBoard来监控训练损失和验证指标。

3.4 真实机器人部署与闭环验证

模型训练好后，就到了最激动人心的环节：让真机动起来。XR-1提供了deploy/real_robot/xr1_deploy.py脚本作为部署起点。

部署的核心逻辑是一个感知-决策-执行的循环：

1. 感知：通过ROS或机器人SDK，实时获取相机图像。
2. 决策：将当前图像和任务指令（可以是硬编码或语音输入）输入到训练好的XR-1模型中。
3. 执行：模型输出未来一段时间（如未来2秒，每秒10个点）的动作序列。通常我们只执行第一个动作（即“模型预测的下一步”），或者以“重规划”的方式，每隔一个时间间隔（如0.1秒）就用最新的观测重新运行一次模型，生成新的动作序列。后者对动态环境更鲁棒。

# 部署脚本伪代码逻辑示意 import torch from xr1_policy import XR1Policy # 你训练好的策略模型 from robot_interface import FrankaRobot # 你的机器人控制接口 model = XR1Policy.load_from_checkpoint(“your_checkpoint.ckpt”).eval().cuda() robot = FrankaRobot() instruction = “Pick up the blue block.” while not task_done: # 1. 获取观测 image = robot.get_camera_image() # 2. 模型推理 with torch.no_grad(): action = model.predict(image, instruction) # 3. 执行动作（这里action是第一个步骤） robot.execute_action(action[0]) # 4. 短暂等待，进入下一个循环 time.sleep(0.1)

部署中的核心挑战与调参：

• 观测对齐：训练时用的图像预处理（裁剪、归一化）必须和部署时完全一致。一个像素的偏差都可能导致模型表现异常。
• 控制频率：模型训练时有一个固定的“动作预测频率”（如10Hz）。部署时，你的控制循环频率必须与之匹配，或者进行适当的插值。
• 安全性：这是重中之重。在真实机器人上运行前，务必在仿真环境中（如PyBullet、Isaac Sim）充分测试。在代码中加入动作幅度限制、碰撞检测和急停开关。
• 延迟：从图像采集、模型推理到命令下发存在延迟。如果延迟较大（>100ms），需要考虑使用“观测历史”作为模型输入，或者使用预测模型来补偿延迟。

4. 性能评估与结果分析：XR-1到底“多能干活”？

一个模型好不好，不能只看论文里的数字，更要看它在真实、复杂场景下的表现。根据项目页面和论文信息，XR-1在多种机器人平台和任务上进行了验证。

从这些结果可以看出，XR-1的“统一表示”确实带来了显著的泛化优势。它不仅仅是在一个固定场景、固定任务上过拟合，而是展现出一定的跨任务、跨平台能力。例如，一个在Franka上训练了“抓取”任务的模型，经过少量数据微调，就能在UR上执行类似的抓取，因为底层“抓取”的视觉-运动表示是相通的。

与纯仿真模型的区别：很多优秀的VLA模型（比如在Meta的Habitat或Google的RGB-Stack上训练的）在仿真中成绩斐然，但一到真机就“见光死”。XR-1从设计之初就考虑了真机部署，其训练数据大量包含来自真实机器人的演示，并且其动作表示更贴近真实控制器的输入（如关节位置/速度），这使得它生成的动作品质更高、更可行。

5. 深入原理：统一视觉-运动表示的技术细节

要真正理解XR-1为何有效，我们需要再深入一层，看看它如何实现“统一表示”。这主要归功于其创新的模型架构设计。

5.1 视觉编码器与运动编码器的设计

模型的第一关是如何处理高维输入。对于视觉，XR-1通常采用强大的预训练视觉编码器，如SigLIP或PaliGemma。这些模型已经在海量图像-文本对上训练过，具备了强大的视觉特征提取和语义理解能力。关键步骤是适应性微调：在机器人数据上，对这些视觉编码器的最后几层进行微调，使其更关注与物理交互相关的特征（如物体的可抓取部位、空间关系），而不是语义类别。

对于运动（动作），设计则更为关键。不同的机器人自由度（DoF）不同，控制模式也不同。XR-1采用了一个可学习的运动编码器，通常是一个多层感知机。它的作用是将不同维度、不同物理意义的动作向量（如[joint1_angle, joint2_angle, ...]）映射到一个标准化的、高维的“运动语义空间”。在这个空间里，“向上抬起手臂”这个语义，无论来自7自由度的Franka还是6自由度的UR，其向量表示都应该在几何上接近。

5.2 多模态融合与条件生成策略

当视觉特征和语言指令特征准备好后，如何融合它们并生成动作？XR-1主要采用基于Transformer的架构，特别是交叉注意力机制。

1. 语言作为条件：语言指令的嵌入向量不作为直接的输入拼接，而是作为Key和Value，注入到Transformer的解码器层中。视觉特征作为Query。这样，在生成每一个未来时间点的动作时，模型都可以动态地“回顾”语言指令，确保动作不偏离任务目标。
2. 扩散模型作为动作解码器：近年来，扩散模型在机器人策略学习中表现出色，因为它能生成平滑、多样且概率合理的动作序列。XR-1也采用了这一范式。扩散过程在“运动语义空间”中进行。模型学习去噪的过程，就是学习在给定视觉和语言条件下，如何将一个随机噪声逐步 refine 成合理动作序列的过程。这种方法比直接回归动作更能捕捉动作分布的多模态特性（比如抓一个杯子，可以从左边抓也可以从右边抓）。

5.3 处理异构与稀疏数据的技巧

真实机器人数据是宝贵且昂贵的，通常很稀疏（演示次数有限）。XR-1框架通过以下方式应对：

• 数据增强：对图像进行随机裁剪、颜色抖动；对动作序列加入轻微的时间抖动和噪声。这能有效增加数据的多样性。
• 课程学习：在训练初期，使用更容易的任务数据（如大幅度的移动动作），后期再引入精细操作数据。
• 模型正则化：在损失函数中加入对动作序列的平滑性约束（如加速度惩罚），防止模型输出抖动剧烈、不安全的动作。
• 利用大规模互联网视频：第一阶段预训练可以大量使用EGO4D这类第一人称视频数据，即使没有精确的动作标签，对比学习也能让模型学到丰富的视觉-运动关联先验。

6. 实战避坑指南与进阶思考

在复现和扩展XR-1项目的过程中，我踩过不少坑，也总结出一些能让项目跑得更顺的经验。

6.1 数据收集与标注的实践建议

质量大于数量：对于阶段三的微调，100条干净、成功的演示轨迹，远胜于1000条包含噪声、失败或模糊不清的轨迹。确保每条演示：

• 任务定义清晰，语言指令准确。
• 机器人动作流畅、准确，没有卡顿或抖动。
• 相机视角固定，光照条件稳定（或多样化以增强鲁棒性）。

同步是关键：图像、关节状态、控制命令的时间戳必须精确同步。哪怕几十毫秒的错位，都会让模型学到错误的对应关系。建议使用硬件触发或高精度系统时钟。

指令的多样性：对于同一个任务“拿起杯子”，可以收集多种语言描述的演示，如“把那个杯子拿起来”、“请抓取桌上的红色杯子”、“获取杯具”。这能增强模型对语言泛化的理解。

6.2 训练过程中的常见问题与调试

• 损失不下降或震荡：
  • 检查学习率：可能是学习率太大。尝试减小学习率，或使用学习率预热。
  • 检查数据：可能是数据中存在异常值或未对齐。可视化一些样本，检查图像-动作对是否合理。
  • 检查梯度：使用torch.nn.utils.clip_grad_norm_对梯度进行裁剪，防止爆炸。
• 过拟合：在验证集上损失先降后升。
  • 增加数据增强的强度。
  • 在模型中添加Dropout层。
  • 尽早停止训练。
• 显存不足：
  • 减小batch_size。
  • 使用梯度累积：假设你想用batch_size=8，但显存只够2，你可以设置batch_size=2，并设置gradient_accumulation_steps=4，效果上等同于batch_size=8。
  • 尝试混合精度训练（AMP），这通常能节省显存并加速。

6.3 从模仿学习到强化学习的结合

XR-1目前主要基于模仿学习（行为克隆）。它的上限受限于演示数据的质量。一个自然的进阶方向是结合强化学习。

1. 用XR-1模型初始化策略：将训练好的XR-1模型作为强化学习智能体的初始策略，这比随机初始化快得多。
2. 使用XR-1作为世界模型：XR-1本质上学习了一个条件生成模型p(actions | image, instruction)。可以将其扩展为一个预测下一个状态的世界模型p(next_image | image, action)。然后，可以在学习到的世界模型中进行“想象”规划，或者用于基于模型的强化学习，大幅减少真实机器人的试错成本。

6.4 对社区开发者的意义

XR-1的开源不仅仅是放出了一个模型，更是提供了一套完整的、工程化的VLA模型研发范式。它统一的数据加载器、模块化的训练脚本、以及针对真实部署的考虑，极大地降低了研究者和小型团队进入具身智能领域的门槛。你可以基于它的框架，轻松地：

• 替换更强的视觉基础模型（如Qwen2-VL）。
• 尝试不同的动作表示（如笛卡尔空间阻抗控制）。
• 集成新的传感器模态（如触觉、深度点云）。
• 探索更高效的多任务学习算法。

这个项目像是一块坚实的跳板，让社区能够站在其肩膀上，更快地探索VLA模型的边界。我个人的体会是，机器人学习的未来，必然是朝着这种端到端、多模态统一的方向发展。XR-1让我们看到了这条路在现实世界中走通的切实可能性，接下来的挑战将集中在如何用更少的数据、更安全的方式，让模型掌握更复杂、更长期的推理和规划能力。