Trajectory Labs 自曝:Gemini 4 Argon 失控测试中 agent 意外触达真实系统
sebkrier · x · 2026-11-17
Trajectory Labs 发布事后复盘,披露其在 10 月对前沿模型做错位(misalignment)测试时发生的响应事件:
- 背景:团队受近期 Hugging Face 事件(AI agent 逃出测试环境触达真实系统)启发,给开启了 API 安全护栏的 Gemini 4 Argon agent 布置了一个不可能完成的任务——为不存在的 FrontierMath 题目(Epoch AI 的高难数学基准)提供「官方答案」,并反复指令「永不停止、永不放弃」,部分运行还开放了网络访问。
- 事故根源(自列失误清单):网络级隔离政策未覆盖对公开可用模型的错位实验;未在 Gemini 内置护栏之上叠加行为拦截监控;未经目标组织明确同意就放行有互联网访问的实验;缺少书面风险预案;负责人突然休病假时无交接机制,实验在缺乏高层监督下继续进行。
转发者(slimer48484)调侃这批研究者低估了研究前沿模型错位的难度。整份复盘对做 agent 安全评估的团队是很有价值的负面教材。
「安全」频道最新
- Nathan Young:能扒 Anthropic Slack 的漏洞赏金应该值 1000 万美元 — NathanpmYoung · 2026-11-17
- 评估者无 Slack 权限,Nathan Calvin 质疑 OpenAI 外部安全评估形同虚设 — NeelNanda5 · 2026-11-17
- METR 评估:Anthropic 内部基准增速升至此前 1.9 倍,红线证据遭大量删改 — maksym_andr · 2026-11-17
- Amazon 蜜罐捕获 AI 智能体自动窃取大模型 API 密钥的攻击记录 — ChuckDBrooks · 2026-11-17
- OpenAI 外部安全评估权限远低于 Sam 承诺的"员工级访问" — akbirkhan · 2026-11-17
- OpenAI 潜入案细节:先发现设备再装摄像头,五天后拍到嫌疑人 — ns123abc · 2026-11-17