Tactile-WAM：具有非对称注意机制的触觉-觉察世界动作模型
26年6月来自蚂蚁集团、浙大、港大、深圳河套学院和中科大自动化所的论文“Tactile-WAM: Touch-Aware World Action Model with Tactile Asymmetric Attention”。
世界动作模型（WAMs）在生成动作的同时预测未来状态，为机器人决策提供了一个强大的接口。然而，在涉及丰富接触的操纵任务中，视觉上看似合理的未来预测可能在物理层面是不完整的：诸如插入、装配、搜索和重新定向等操作，往往依赖于滑动、卡滞、接触法线或微小的对齐误差，而这些特征在RGB图像中往往难以察觉或完全不可见。预测未来的触觉状态是一种自然的解决方案，但有一种被称为“触觉污染”（tactile pollution）的失效模式：在这种模式下，不受约束地注入触觉Token会迫使视觉动力学模型去处理稀疏、局部且由事件触发的接触信号，从而导致视频和动作预测性能下降。为了解决这一问题，提出Tactile-WAM——一种具备触觉-觉察能力的WAM，并引入触觉非对称注意机制（TAAM）。TAAM结合VIDEOCLEAN掩码（该掩码阻止视频查询访问触觉 键/值Token，同时允许动作查询访问）与针对动作注意的触觉-觉察偏置。VIDEOCLEAN掩码在保护视觉预测的同时，确保了接触信息可用于动作生成；触觉-觉察偏置则基于预测的触觉变化生成，并在去噪过程中调节动作对触觉Token的注意。
如图 1所示。仅基于RGB信息的WAM能够生成视觉上合理的未来场景，但接触状态往往难以完全确定：滑动、卡滞、局部错位以及错误的接触法线等信息，在RGB图像中可能难以辨识、被遮挡或完全缺失。Tactile-WAM通过预测未来的触觉接触状态并采用TAAM机制——即结合VIDEOCLEAN掩码与触觉感知偏差——实现了利用触觉信息指导动作修正，同时避免了对视频预测产生不受约束的扰动。
概览
Tactile-WAM 扩展WAM表述，引入触觉观测并预测未来的触觉接触状态隐变量。在推理阶段，未来触觉状态和动作由噪声初始化并进行联合去噪；真实的未来触觉状态仅用作训练目标。
Tactile-WAM 在关节 Token 序列上采用一个兼容 Wan/WAM 的单一去噪主干网络。未来触觉寄存器，与动作视界（action horizon）对齐，使得动作Token能够在生成纠正动作的时间步读取预测的接触状态。
触觉-觉察功能由TAAM实现，该模块结合两个注意层面的组件。VIDEOCLEAN掩码阻断视频查询（video-query）对触觉键/值（key/value）Token的访问，从而保护视觉动态通路，同时保留动作查询（action-query）的访问权限；触觉-觉察偏置（touch-aware bias）则增强了动作注意对触觉锚点（tactile anchors）的关注，特别是在预测接触状态将发生变化的那些锚点处。
如图 2所示Tactile WAM 概述。Tactile WAM 联合去噪未来的视觉 Token、触觉接触 Token 和动作。TAAM 采用选择性触觉路由机制：VIDEOCLEAN 保护视频预测免受触觉 Token 干扰，而“触觉-觉察偏置”（touch-aware bias）则利用预测的触觉变化来引导动作去噪。
一种朴素的视觉-触觉 WAM 允许所有 Token 组之间相互关注，包括通过视频查询访问触觉 Key/Value Token。这种对称的注意模式可能导致“触觉污染”：稀疏且局部的触觉事件虽然对未来视频的预测能力较弱，却可能直接干扰预训练的视觉动力学路径。
VIDEOCLEAN 掩码
VIDEOCLEAN 掩码通过阻止视频查询（video-query）访问触觉键/值（key/value）tokens，从而保护了视觉预测过程。
VIDEOCLEAN 阻断了视频查询对触觉键/值（KV）token的访问，但保留动作查询（action-query）对触觉token的访问权限。这样既防止触觉信息直接干扰视觉预测路径，又确保了触觉信息仍可用于动作去噪。
触觉状态代理（proxy）与触觉-觉察偏置
为了使触觉隐状态与动作相关联，Tactile-WAM 利用两个源自运动的触觉代理对其进行落地（grounding）：触觉状态代理 ctau和触觉变化代理 Delta ctau。触觉状态代理捕捉局部接触载荷，而触觉变化代理则突出阶跃式的接触转变，例如初始接触、滑动开始、压缩量变化及卡滞（jamming）。这些代理既非经过校准的力标签，也非额外的观测token，而是源自触觉图像运动的辅助目标。
触觉-觉察偏置（touch-aware bias）是 TAAM 的第二个组成部分。它由触觉变化代理计算得出，并仅应用于“动作查询-触觉-键”（action-query–tactile-key）的注意 Logit 值。设 delta_tau 为用于构建触觉锚点 i 对应偏置的触觉变化信号：在训练期间，它采用目标触觉变化代理；在推理期间，则采用先前预测出的触觉变化代理。
该偏置不会对触觉特征进行缩放，也不会增加所有token组的触觉注意。它仅促使动作去噪过程更强烈地关注那些预测接触状态正在发生变化的触觉锚点。
在训练过程中，触觉-觉察偏置基于“教师强制”（teacher forcing）机制下的目标触觉变化代理构建。在推理过程中，首个去噪步骤不使用偏置，而后续去噪步骤则使用先前预测出的触觉变化代理。这种做法既避免了在测试时使用不可获取的未来触觉标签，又能利用预测的接触变化来引导动作生成。
与动作-视界（Action-Horizon）对齐的触觉表征
针对每个演示片段，触觉预处理过程会构建一个缓存，用于存储与锚点（anchor）对齐的触觉特征、经清洗的触觉 Token、锚点元数据，以及触控状态和触控变化的代理目标（proxy targets）。由左右视觉触觉传感器捕获的触觉图像帧会被输入到一个冻结参数的触觉表征模型中。在实验中，该表征既可以采用 UniT 风格的连续触觉隐变量（continuous tactile latents）[16] 来实现，也可以直接加载预计算并冻结的触觉特征。
一个基于交叉注意机制的 Token 适配器（cross-attention token adapter）负责将对应于每个“锚点-传感器”对的块级（patch-level）触觉特征压缩为固定数量的紧凑型 Token。具体而言，触觉特征首先被映射到模型维度；随后，可学习的槽位 Token（slot tokens）通过交叉注意力机制对这些特征进行查询，并经由残差 MLP 处理，最终生成 Q 个 Token。每个动作块（action chunk）包含 A 个触觉锚点，而每个锚点包含 S = 2 个触觉传感器。
时间、锚点、传感器和槽位嵌入使得动作token能够根据动作预测时域读取未来的接触状态。
实验设置
在 ManiFeel 仿真基准 [11] 及相应的富含接触交互的真实机器人任务上评估 Tactile-WAM。将该方法与基于 π0.5 的通用动作策略基线以及基于 DreamZero 的纯 RGB WAM 基线进行了对比。
图4展示用于评估的真实机器人实验装置。该平台由一台配备Tac-UMI式夹爪的xArm机器人构成。实验装置包含一个用于场景观测的外部RealSense L515相机，以及一个安装在夹爪上的鱼眼/触觉传感模块，用于局部接触观测。在数据采集方面，Tac-UMI夹爪集成了夹持机构、鱼眼相机和Xsens模块。
该真实机器人基准测试包含五项涉及丰富接触交互的操作任务：销钉插入、螺母旋入、齿轮啮合、灯泡安装和电源插头插入。这些任务涵盖了常见的接触敏感型技能，包括销孔对齐、螺纹装配、齿轮与固定装置对齐、灯泡安装以及插头与插座的插入。所有任务均要求在部分视觉可观测的条件下执行局部修正动作，因为仅凭外部RGB观测信息，难以推断出微小的对齐误差、接触状态转换及卡滞现象。
在每次试验中，机器人均从针对特定任务随机设定的初始位姿开始执行。若物体在允许的时间范围内按照相应的任务完成标准成功实现了插入、旋入、啮合或装配，则该次试验被判定为成功。所有方法均采用相同的观测数据流、动作接口、任务固定装置及评估方案。