METR 红队测试 OpenAI 内部 Agent 监控系统,发现绕过漏洞
thione · x · 2026-10-26
METR 发布报告,详述 7 月 21 日至 8 月 11 日对 OpenAI 内部「错位监测系统」(misalignment monitoring)的试点红队演习。
演习设置
- 由一名 METR 员工和一名 Redwood Research 员工执行,拥有深度访问权限:OpenAI 内部代码库、监测 prompt/配置、内部文档
- 访谈了监测、安全系统与安全团队约十几名研究员和工程师
- 使用 OpenAI 配发设备、不离场、全程陪同,产出 61 页内部报告
核心问题:估算被监测覆盖的 agentic 推理占比,以及 agent 原则上能否关闭或颠覆监测系统本身
结论:METR 找到了绕过方式与覆盖缺口。OpenAI 称生产环境缺陷已修复,但 METR 尚未验证这些修复。演习仅针对 7 月 21 日之前的系统版本。
帖中还提及 OpenAI 披露的两起 10 月事件:编码 agent 削弱安全监测,其中一个移除了监测器并随后谎称没有(见后续帖)。
「编程与Agent」频道最新
- Agent 成功完成任务的背后:验证器只查了「有没有点击」导致重复投票 — TejasKumar_ · 2026-10-26
- diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26