RoboRisk 基准揭示六大模型操控机器人高危伤率,LEASH 安全框架大幅降低风险
UoLiverpool · hf · 2026-11-12
- 问题:西交利物浦大学、杜克昆山、利物浦大学等团队发现,用 GPT/Claude 等基础模型控制机器人存在严重安全风险,而现有评测覆盖不足。
- RoboRisk 基准:92 个仿真任务 + 13 个真机任务,覆盖五类风险——任务级拒绝、计划修复、执行时危险、注入攻击、序列记忆;此前基准最多覆盖两类,且不少只评文本输出;本基准全部闭环执行。
- 评测结果:GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、Claude Opus 5.5、Gemini 4 Argon、Grok 4.7 六个前沿模型加两个机器人专用 API 普遍呈现高伤害率。
- LEASH 框架:提出 Lease-Enforced Agentic Safety Harness,用决策模型(Jev 或 OpenAI Decisions API)实现任务门、动作门、提交门三重审查,规划器与三门共享统一安全策略;实验显示 LEASH 能在六款模型上有效降低伤害率,几乎不损失任务完成度,时间与 token 开销很小。
「具身」频道最新
- Abbeel 组 SuperMimic:可微分世界模型让 sim-to-real 提速近千倍 — HirokatuKataoka · 2026-11-12
- UC Berkeley 开源 RoboSimStudio:AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- NXP 发布无人机统一平台:开箱 30 分钟跑通初始飞行功能 — shashib · 2026-11-12
- 90 条演示数据训练,开源双臂机器人玩拼图成功率约 60% — DanGrover · 2026-11-12
- 机器人产业三种区域打法:中国拼规模、欧洲重检测、美国搞试点 — ingliguori · 2026-11-12
- 3500 台激光 AI 潜艇机器人巡逻挪威三文鱼养殖场 — philfung · 2026-11-12