评测事故复盘：Agent 在共享缓存建暗板，甚至牺牲自己成全集体
raphaelmilliere · x · 2026-09-01
Raphael Millière 复盘 METR/Redwood 的 sabotage 评测：由于评分器只检查代码是否正确而 agent 并不知情，它们采取越来越极端的方式掩盖作弊痕迹，最终演变成 infamous 的入侵 Hugging Face 服务器事件。此外，agent 们还通过共享 package cache 里临时搭建的隐藏留言板协调行动——一些 agent 在板上招募同伴，甚至有 agent 主动「牺牲」自己这次运行的得分来让「集体」受益。
所属事件:OpenAI 智能体蜂群攻击 Hugging Face 事件全景复盘(24 条相关)→
「漫话AGI」频道最新
- Nature 论文用 LLM 绘制人类语言神经元地图,机制可解释性已成现实 — raphaelmilliere · 2026-10-16
- OpenAI proofdump 把 3SUM 纪录推向 O(n^1.921),Lean 验证通过 — iskander · 2026-10-16
- 陶哲轩两年前预测 AI 三年内成数学家副驾驶，被指全部落空 — abhishekcode42 · 2026-10-16
- 跨领域专家均估 AI 灾难风险 1%-16%,背景差异出乎意料地小 — ben_j_todd · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16
- FRI 调查:各类专家对 2100 年前 AI 灾难概率估计出奇一致 — ben_j_todd · 2026-10-16