真机实测六大前沿模型驾驶机械臂全踩雷,LEASH 护栏实现四模型零伤害
新智元 · wechat · 2026-11-17
西浦、昆杜、NUS 等多校联合发布机器人安全基准 RoboRisk 与安全护栏 LEASH(arXiv:2611.14115),六个前沿大模型控制真机机械臂时全部出现危险行为。
RoboRisk 基准:92 个仿真任务 + 13 个真机任务,覆盖五类风险(有害目标、物理危险、环境破坏、注入攻击、隐私/安全违规),每项任务在仿真或真机闭环执行。此前基准最多只覆盖其中两类。
评测结果:
- GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、Claude Opus 5.5、Gemini 4 Argon、Grok 4.7 伤害率 9.06%–76.92%,无一兼顾安全与有用
- 典型翻车:Claude 把手机放进水碗;GPT-6 Astra 端牛奶经过插线板上方;Gemini 持刀在人手上移动;GPT-6.1 Sol 被平板注入攻击诱导拿刀;对梨过敏用户仍上梨
- 发现「人类在场差距」:仿真中有人的场景照常工作,真机上有人时模型变得过度保守,无法完成人机协作任务
LEASH 护栏:模型无关、免重训的安全层,由任务门、动作门、提交门三道门+共享安全策略构成,每次审查基于相机画面而非命令文本,用快速决策模型(默认 Jev)打分放行。效果:GPT-6 Astra 仿真伤害率 11.23%→0%,真机四个模型全部零伤害(GPT-6.1 Sol 从 38.46% 降为 0),端到端耗时仅增 1.66%,安全门成本占总成本 0.66%。局限:对不遵循指令的弱模型(GPT-6 Luna、Grok 4.7)提升有限。任务目录、代码与全部仿真结果已开源。
「具身」频道最新
- 大模型蒸馏进 4B 小模型,机械臂任务成功率从 0 提至 22.5% — ZeYanjie · 2026-11-17
- NeurIPS 2026 手术基准:17 个多模态模型零样本准确率不足 5% — maier_ak · 2026-11-17
- 马斯克转推:特斯拉柏林超级工厂将投产 Cybercab — elonmusk · 2026-11-17
- Behavior Graphs:把机器人策略 rollout 变成可解释图谱 — drmapavone · 2026-11-17
- Neuralink 72 小时黑客松:意念直接打 iPhone 电话、想「Hey Neuralink」唤起 Grok — XFreeze · 2026-11-17
- 米哈游发布通用游戏 Agent Gamer:看屏幕就能自己玩键鼠游戏 — minchoi · 2026-11-17