具身智能领域常见机器人平台与数据格式

VLA 领域常见机器人平台与数据格式调研

面向具身智能 / VLA 模型学习者，整理主流机器人平台、数据集、数据格式及动作空间设计。

目录

1. 机器人平台分类

1.1 单臂协作机器人

Franka Emika / Franka Research 3 (Panda)

VLA 领域使用最广泛的机器人平台。

VLA 中典型使用: DROID 数据集、Open X-Embodiment 中的多个子集（CMU Franka、NYU Franka 等）

UFACTORY xArm 6 / xArm 7

VLA 中典型使用: Open X-Embodiment 中的 utokyo_xarm 系列（7D 动作空间: xyz+rpy+gripper），LeRobot 集成

WidowX 250 (Interbotix)

低成本研究用机械臂，BridgeData V2 唯一使用的平台。

VLA 中典型使用: BridgeData V1/V2, RT-1 训练数据之一

UR5 / UR5e (Universal Robots)

VLA 中典型使用: Berkeley Autolab UR5 (OXE 子集), RH20T

1.2 双臂 / 双手灵巧平台

ALOHA (Bimanual Teleoperation)

Mobile ALOHA

在 ALOHA 基础上增加移动底座，支持全身双手移动操作。动作空间额外包含 base 运动。

VLA 中典型使用: ACT (Action Chunking Transformer) 论文

1.3 移动操作机器人

1.4 人形机器人（2024-2025 新兴方向）

人形机器人目前尚无大规模公开数据集，多为各厂商自研 / 未公开。

2. 主流开源数据集

2.1 Open X-Embodiment (OXE)

论文: Open X-Embodiment: Robotic Learning Datasets and RT-X Models (2023, Google DeepMind + 21 家机构)

核心数据:

统一动作空间 (7-D):

[x, y, z, roll, pitch, yaw, gripper_open]

• 动作频率:3 Hz（RT-1/RT-X 模型输出）
• 仅保留主相机 RGB + 语言指令，不包含深度图、腕部相机
• 数据格式:RLDS (TFDS)

部分子数据集列表:

GitHub: https://github.com/google-deepmind/open_x_embodiment

2.2 DROID

论文: DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset (2024)

传感器配置:

• 2xZed 2 立体相机（外部、可调节）
• 1xZed Mini 立体相机（腕部）
• 遥操作:Oculus Quest 2VR

动作空间:

[dx, dy, dz, droll, dpitch, dyaw, gripper] (7-D delta)

数据格式: TFDS / RLDS (可通过 HuggingFace 镜像:KarlP/droid)

项目网站: https://droid-dataset.github.io/

2.3 BridgeData V2

论文: BridgeData V2: A Dataset for Robot Learning at Scale (CoRL 2023)

机器人: WidowX 250 6-DOF（唯一平台）

传感器: 4 个摄像头（1x RealSense D435 RGBD + 2x C920 + 1x 腕部 Pi Camera）

动作空间:

[dx, dy, dz, drot_x, drot_y, drot_z, gripper] (7-D delta)

数据格式:

• 原始: JPEG + PNG + pickle (.pkl) → ZIP
• 处理后:RLDS / TFDS(TFRecord, 1024 shards)

GitHub: https://github.com/rail-berkeley/bridge_data_v2

2.4 RT-1 / RT-2 数据集

RT-1(论文):

• 130,000+ episodes, 700+ 任务
• 机器人: 13 台Everyday Robots (EDR)+ Kuka IIWA 模拟数据
• 动作空间:11-D= 7-D arm (xyz+rpy+gripper) + 3-D base (x,y,yaw) + 1-D mode (arm/base/terminate)
• 动作离散化为每维 256 bins
• 频率: 3 Hz

RT-2(论文):

• 将机器人动作tokenize 为文本字符串（如"1 128 91 241 5 101 127 217"）
• 基于 PaLI-X (55B) / PaLM-E (12B) 视觉语言模型
• 在 OXE 数据集 + 互联网图文数据上联合微调

2.5 RoboNet

• 机器人:7 台 PR2+ 1 台 Sawyer
• 7 个不同摄像头视角
• 约 160K trajectories
• 自定义数据格式（非 RLDS）

2.6 ALOHA / ACT 数据集

• 格式:HDF5 (.hdf5)
• 动作:14-D绝对关节角度（6+6 关节 + 2 夹爪）
• 观测: 多视角 RGB + qpos
• Action Chunking: 一次预测 100 步

2.7 其他重要数据集 (2024-2025)

3. 数据格式标准

3.1 RLDS (Reinforcement Learning Data Standard)

GitHub: https://github.com/google-research/rlds

核心概念:

• 每数据集 =tf.data.DatasetofEpisodes
• 每 Episode =steps(tf.data.Dataset of Steps) +metadata
• 每 Step ={observation, action, reward, discount, is_first, is_last, is_terminal}

Episode 结构示例:

episode={"steps":tf.data.Dataset,# 每个元素是 Step 字典"metadata":{"episode_id":"...","environment_config":{...}}}step={"observation":{"image":<rgb_array>,"wrist_image":<rgb_array>,"state":<joint_positions>,"natural_language_instruction":"..."},"action":<7-d vector>,"reward":0.0,"discount":1.0,"is_first":True,"is_last":False,"is_terminal":False}

关键特性:

• 基于TensorFlow Datasets (TFDS)
• 支持并行 shuffle、交错处理、内存高效批处理
• 所有 Step 必须使用相同 schema
• 遵循 RL 惯例: (o_t, a_t, r_t, d_t)

3.2 LeRobot 格式 (HuggingFace)

GitHub: https://github.com/huggingface/lerobot

v3.0 文件结构:

dataset_name/ ├── meta/ │ ├── info.json # 特征定义、类型、shape │ ├── stats.json # 归一化统计量 │ ├── tasks.parquet # 任务/语言指令 │ └── episodes.parquet # Episode 元数据 ├── data/ │ ├── chunk-000/ │ │ ├── observation.images.cam_high.parquet │ │ ├── observation.images.cam_left_wrist.parquet │ │ ├── observation.state.parquet │ │ ├── action.parquet │ │ ├── episode_index.parquet │ │ └── ... │ ├── chunk-001/ │ │ └── ... │ └── ... └── videos/ ├── observation.images.cam_high/ │ ├── chunk-000/ │ │ ├── episode_000000.mp4 │ │ └── ... │ └── ... └── ...

核心特点:

• Parquet存储状态/动作数据（列式存储，高效查询和流式加载）
• MP4 视频存储视觉数据（与状态/动作同步）
• 分块 (chunk) 组织，提高存储和加载效率
• 直接托管在HuggingFace Hub，支持流式下载
• 硬件无关：支持简单机械臂到人形机器人
• 同时支持关节空间和末端执行器空间控制
• 使用方式:dataset = LeRobotDataset("lerobot/aloha_mobile_cabinet")

3.3 HDF5 格式

ALOHA / ACT 等早期项目使用。

• 单个 HDF5 文件包含多个 episode
• 灵活性高，但无标准化 schema
• 不适合大规模分布式训练

3.4 格式对比总结

4. 动作空间设计对比

4.1 两种主流选择

末端执行器 (EE) 空间控制

[dx, dy, dz, droll, dpitch, dyaw, gripper] (7-D delta) 或 [x, y, z, roll, pitch, yaw, gripper] (7-D absolute)

使用方: OXE、DROID、BridgeData V2、RT-1

优点:

• 跨机器人泛化更容易（不同机器人共用同一表示）
• 与视觉输入对齐更自然（图像空间到笛卡尔空间）
• 易于通过逆运动学 (IK) 部署到不同机器人

缺点:

• 需要 IK 求解器（可能有多解/奇异点问题）
• 丢失关节力矩等本体感知信息
• 不同机器人工作空间不同，需要归一化

关节空间 (Joint Space) 控制

[q1, q2, q3, q4, q5, q6, q7, gripper] (N-DOF + gripper)

使用方: ALOHA / ACT, 部分灵巧手操作

优点:

• 直接控制，无需 IK
• 可精确控制每个关节力矩/阻抗
• 更自然用于双手灵巧操作

缺点:

• 跨机器人泛化困难（不同 DOF 数、不同运动学结构）
• 需要学习机器人特定的运动学
• 同样动作在不同机器人上对应不同关节配置

4.2 实际选择建议

4.3 特殊设计

• RT-1 动作离散化: 每维 256 bins → 动作 token 化
• RT-2 动作文本化: 动作数字串 → 与语言 token 统一
• ACT Action Chunking: 一次预测 100 步未来动作（减少累积误差，提高时序一致性）
• Diffusion Policy: 动作表示为去噪过程，天然支持多模态分布

5. 快速参考速查表

5.1 数据集 → 机器人 → 格式

5.2 机器人 → 控制频率 → 典型传感器

主要参考来源

1. Open X-Embodiment: https://arxiv.org/abs/2310.08864 | https://github.com/google-deepmind/open_x_embodiment
2. DROID: https://arxiv.org/abs/2403.12945 | https://droid-dataset.github.io/
3. BridgeData V2: https://arxiv.org/abs/2308.12952 | https://github.com/rail-berkeley/bridge_data_v2
4. RT-1: https://arxiv.org/abs/2212.06817
5. RT-2: https://arxiv.org/abs/2307.15818
6. ACT / ALOHA: https://github.com/tonyzhaozh/act | https://mobile-aloha.github.io/
7. LeRobot: https://github.com/huggingface/lerobot
8. RLDS: https://github.com/google-research/rlds
9. Franka FR3: https://franka.de/
10. xArm: https://www.ufactory.cc/
11. RLDS format specification: https://github.com/google-research/rlds/blob/main/rlds/rlds_metadata.proto