ACT、Diffusion Policy、 π0、π0-fast、SmolVLA（1）

1、传统行为克隆为什么不够

最普通的行为克隆可以写成：

输入当前观测​，模型预测当前动作。

它通常每次只预测一步。只要某一步出现一点误差，下一步的状态就会偏离训练数据，误差可能不断累积。

同时，对于同一个状态，演示者可能有多种合理行为。例如抓取杯子时，可以从左侧接近，也可以从右侧接近。普通均方误差回归可能把两种轨迹平均，生成一条两边都不像的动作。

因此，后来的模型主要围绕两个问题展开：

如何生成时间上连续的一段动作；

如何表示多种可能的合理动作。

这五种机器人策略实现方式都在解决同一个基本问题：

当前观测+任务要求⟶机器人接下来应该执行什么动作？

其主要区别在于动作生成方式，ACT直接回归，Diffusion Policy通过扩散模型去噪生成，π₀和SmolVLA通过Flow Matching生成连续动作，π₀-FAST自回归预测离散动作Token。

这些训练数据本质上通常都是一段段机器人演示轨迹：

其中观测o包含相机图像、关节角等，VLA还会多一个语言指令；动作可能是末端增量也可能是关节角。

2、ACT：从预测一步变成预测一段

Action Chunking with Transformers(ACT)，来自论文Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

相机图像 ────────┐
机器人关节状态 ────┼→ Transformer → 一段动作序列
示范动作潜变量 ────┘

ACT主要使用CVAE和Transformer，一次预测未来一段动作，主要目标是通过模仿学习完成精细双臂操作。它主要针对两个问题：策略误差随时间累积，以及人类演示具有非平稳性。

单步预测用的是MLP，它没时间概念，只能输入一个点，输出一个点。
而ACT的解码器是Transformer，可以进行并行输出，通过自注意力和位置编码可以同时实现多步并行输出。

CVAE（带条件的VAE），ACT根据当前的视觉图像和机器人关节角度为条件进行生成。

ACT一般先使用CNN，例如ResNet，对不同相机图像提取视觉特征，然后把图像特征、机器人状态和潜变量转成一组Token，这些Token进入Transformer Encoder，得到环境条件特征，Transformer Decoder中放入 k个动作查询，每个查询负责一个未来的动作。

多视角图像 + 当前关节状态

↓

CNN视觉特征提取

↓

Transformer编码

↓

一次输出未来K步动作

↓

Temporal Ensemble平滑执行

本质上还是行为克隆。

局限：

ACT通常还是一个具体机器人、具体任务数据上训练的策略。它本身通常没有很强的语言理解，也不是在大规模多机器人数据上预训练的通用模型，所以ACT更接近高性能的单任务或少任务模仿学习策略。

2、Diffusion Policy

Diffusion Policy来自论文Diffusion Policy: Visuomotor Policy Learning via Action Diffusion，与ACT并列为动作块生成的两大主流。它通过从随机噪声动作开始，多次去噪，最后生成一段合理动作。

训练时先取一段真实专家动作，然后随机选择一个扩散时间步 kkk，向动作加入高斯噪声：

Diffusion Policy不直接学习图像到动作，而是图像 + 带噪动作 + 噪声程度 ——> 这段动作里包含什么噪声，只要能准确预测噪声，就可以逐步把噪声动作还原为真实动作。

看到这里有一个很自然的问题，为什么选择预测噪声而不是直接预测动作：高斯噪声具有完美的对称性和数学可导性，而机器人的动作则充满了非线性和奇异点。用简单的噪声作为桥梁，去逼近复杂的动作难度下降很多，同时可以解决多模态的回归到均值问题。

局限：

Diffusion Policy生成一个动作要非常多补的去噪过程，推理延迟高计算开销大；原版DP使用U-Net，长序列能力较弱，且存在偏差积累问题。

3、π₀

ACT和Diffusion Policy主要从当前机器人数据中学习动作，而π₀首先有一个预训练视觉语言模型，再把机器人状态和动作接入模型。

π0来自论文π0: A Vision-Language-Action Flow Model for General Robot Control。它基于预训练PaliGemma，并增加机器人专用的状态和动作通路，通过条件Flow Matching生成连续动作块。

图像 + 语言
↓
大型VLM 提取场景与任务语义
↓
条件特征传给Action Expert
↓
机器人状态 + 带噪动作 + 流时间t
↓
Action Expert
↓
预测动作速度场

相机图像通过视觉编码器得到视觉Token，图像Token和语言Token进入PaliGemma VLM，形成语义上下文。VLM负责看懂要做什么，Action Expert负责生成怎么动。因为机器人动作是一个连续高频的对象，如果直接让语言模型逐个输出离散动作Token，可能产生非常长的序列。

Action Expert 本质上是一个去噪网络，它的任务是在Flow Matching框架下，根据当前“带噪的动作块”预测出速度场，从而指导动作块从纯噪声逐步演化为干净、可执行的动作序列，通常是一个Transformer。

关于Flow Matching

Flow Matching可以算是扩散模型的变体，都是希望将随机噪声转变为动作。但Flow Matching主要学习一个速度场，即这个噪声应该往哪个方向变化，才能逐渐变成真实动作。扩散模型的路径是随机微分方程（SDE），而Flow Matching是常微分方程（ODE）。速度场是平滑且确定的，没有随机扰动项，故Flow Matching在推理时可以用大步长，推理效率相比扩散模型快很多。

π0的训练一般分为预训练和后训练微调。预训练使用多种机器人、多种任务的大规模数据，

训练目标是让模型获得多机器人动作模式、物体操作先验、语言任务理解和一定的跨任务迁移能力。其原文中预训练规模超过一万小时机器人数据，并结合多个机器人平台和任务。

后训练再使用某个目标任务的高质量数据微调，这与前面ACT这种直接使用当前任务演示训练的方法差异很大。

图像 → 视觉编码器 → 图像Token
语言 → 文本Tokenizer → 文本Token
↓
VLM
↓
任务条件表示
↓
随机动作块 + 当前状态
↓
Action Expert
↓
多步Flow Matching求解
↓
动作块
↓
执行前几步（滚动预测）
↓
重新观察再预测