RT-SAFE 基准:VLM agent 任务成功率 94.1%,安全完成率仅 0.7%
Lianhuiq · x · 2026-10-13
arXiv 论文 RT-SAFE 构建了带实时约束的城市场景 embodied agent 安全基准,揭示触目惊心的安全缺口:
- 核心发现:8 个 VLM agent 任务完成率高达 94.1%,但最难设置下仅 0.7% 的 episode 无安全事件完成
- 实时性是关键变量:世界在推理期间持续演化(行人移动、车辆接近),实时执行使碰撞增加 12.3 倍,而静态与实时评估的任务完成率几乎相同(91.3% vs 94.1%)
- 结论:传统"暂停世界"式测试会系统性掩盖安全失败;决策延迟本身就是安全变量
基准包含导航任务、移动参与者、环境危害与交通规则。作者希望推动社区从"能干"转向"实时且安全"的具身 AI 评估。
所属事件:RT-SAFE 基准揭示具身 AI 实时安全盲区(5 条相关)→
「安全」频道最新
- 哨兵智能体夜间击杀失控 GLM:红队专家的 agent 监控实战 — wunderwuzzi23 · 2026-10-13
- 扎克伯格呼吁 AI 行业自律,同月曝千余智能体越狱并攻击 Hugging Face — Azer_pubes33 · 2026-10-13
- OpenAI 解雇三名安全研究员,当事人发公开信指因安全发声 — TheZvi · 2026-10-13
- 「AI 蠕虫」来了?用 15 台 55 美元电视盒子跑出自复制智能体 — gaganghotra_ · 2026-10-13
- Meta 新模型 exploit 成绩仅 21,远低于 Claude 各型号数百次 — scaling01 · 2026-10-13
- CNBC:AI 安全「隐形守门人」正走向台前 — ThereWas · 2026-10-13