USC 论文:VLA 模型推理文本不变,动作却已被对抗扰动改变
USC · hf · 2026-11-05
USC 团队发布研究《Say the Same, Act Differently》,系统诊断视觉-语言-动作(VLA)模型中文本推理与实际动作的背离现象。
- 核心发现:对输入图像加入人眼难以察觉的对抗扰动后,模型输出的推理文本(rationale)可以完全不变——例如仍说「应停车保持与前车距离」——但动作解码器实际输出却从「停车」变成「继续行驶」。
- 机制:扰动在共享隐状态中造成「文本中性、动作敏感」的偏移,文本头看不到差异,动作头却已改变。
- 安全含义:只监控模型可见推理文本的安全监视器会完全失效,「推理不变」不能保证「动作安全」,对机器人/自动驾驶 VLA 的部署是重要警示。论文还探讨了对此种分歧的诊断与干预(steering)方法。
「具身」频道最新
- YC F26 项目 Runtime 发布:机器人免微调穿绳,仿真探索直接上真机 — ycombinator · 2026-11-05
- Rooms3d:Vision Pro 上 9.99 美元把房间永久存成 3D 立体模型 — Scobleizer · 2026-11-05
- 机器人世界模型演示翻车:预测视频里抓到了现实中没抓到的水果 — Negative-Whereas3307 · 2026-11-05
- 中国展示 AI 智能黑板:手绘草图实时变 3D 模型,已进 6 万所学校 — CurieuxExplorer · 2026-11-05
- Gym-Anything for Robotics:用编码智能体批量生成机器人物理仿真 — wellecks · 2026-11-05
- Maker 重启 6 自由度机械臂自制计划,称吸取了上一次的教训 — _Stocko_ · 2026-11-05