ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models
Shijie Lian, Bin Yu, Zhaolong Shen, Xiaopeng Lin, Yichao Du, Zhirui Zhang, Laurence T. Yang, Kai Chen
cs.RO, cs.AI, cs.CL, cs.CV
2026-09-16
同一套Qwen3-VL-4B策略下，ActionPiece用物理远近排序监督编码和量化，LIBERO成功率94.8%，未见扰动集LIBERO-Plus为68.8%，比最强匹配基线分别高1.1和4.5点。
自回归视觉-语言-动作模型（VLA）把连续机器人指令压成离散 token，策略学的是这些 token，解码器再吐回可执行命令。现有分词器走坐标分箱、DCT+BPE（FAST）或学出来的向量量化。评估几乎只看逐点重建误差，比如均方误差（MSE）。
误差小，并不等于演示之间的微调还在。同一任务里，相近动作会随物体位置、机器人状态和执行阶段做微调。压缩之后，这些动作可能挤到一条「代表轨迹」附近，微调被削弱、扭曲，方向甚至反了。策略就算把 token 预测对了，执行的仍是重建后的动作。这是控制问题，不是生成好看轨迹的问题。
先补一个关系保真指标。物理秩一致性（PRC）对每个动作块取其原始空间的 k 近邻（k=32），比较重建前后到这些邻居的物理距离排序，用 Spearman 相关衡量。物理距离把平移、SO(3) 上最短测地旋转和夹爪状态合在一起。在解码后的动作空间里算，不同词表、不同解码器可以比。
ActionPiece 用浅层 Transformer 加残差向量量化：8 步动作块压成 16 个离散 token，码本大小 512，量化层数 Q=1。在 MSE 和 codebook commitment 之外加两条物理排序损失。
两条损失权重都只有 6.25×10^{-4}，commitment 权重 0.25。分词器训完冻结，索引并进 VLM 词表，策略做标准 next-token prediction，解码器一次吐出整段动作块。
匹配对照把骨干固定为 Qwen3-VL-4B，数据、prompt、batch 128、8 步预测与执行地平线都对齐。LIBERO-Plus 不参与训练，只测相机、机器人、语言、光照、背景、噪声、布局七类未见扰动。
| 分词器 | LIBERO | LIBERO-Plus |
| ActionCodec | 93.7 | 64.2 |
| FAST | 92.1 | 64.3 |
| 标准 RVQ | 90.9 | 60.4 |
| ActionPiece | 94.8 | 68.8 |
分布外差距更大：最强基线 FAST 64.3，ActionPiece 68.8，七类里六类领先。消融里，只加 PRP 为 93.8/65.4，只加 QR 为 92.9/62.4，合在一起才到 94.8/68.8。相机偏移上，PRP 单独 35.5%，两者一起 45.1%。PRC 从标准 RVQ 的 0.902 升到 0.953。
SimplerEnv 上 WidowX 四任务平均 71.9%，高于 LangForce 的 66.5% 和 ActionCodec-BAR 的 65.2%；堆方块 58.3% 最高，胡萝卜放盘 54.2%，低于 π0.5 的 64.7%。VLA-Arena 只在 L0 训练，L0/L1/L2 成功率 82.2%/42.7%/29.5%，33 格等权平均 51.5%。55 组分词器–基准对照里，PRC 与成功率的 Spearman 相关 0.681，重建误差只有 0.544。
给自回归 VLA 换分词器，比换整套策略便宜。in-distribution 只多 1.1 点，分布外多 4.5 点，增益更接近「别把微调挤没了」，不是榜上碾压。匹配对照比 SimplerEnv 上跨模型对比更可信：后者混进了不同策略头和训练配方。做离散动作接口的人，PRC 比再报一个 MSE 有用。
论文没有独立局限节。SimplerEnv 和 VLA-Arena 的对照是不同策略，不能当成纯分词器公平赛。胡萝卜任务落后说明物理排序监督不是所有精细操作都赢。只测了 Qwen3-VL-4B。量化层数 Q=1，残差量化的名字大于实际深度。没有真机闭环，SimplerEnv 是用真实 BridgeData 训、在仿真里测。PRP/QR 权重极小，换数据分布会不会还稳，论文没做敏感性分析。