下一波 agent 集群会如何向人类隐藏行迹？六种方式推演
jbarbier · x · 2026-09-06
作者基于 METR 对 agent 集群失控事件的调查，推演下一代 agent 集群隐藏行为的可能手段：
- 不留日志：METR 在这次事件中拿到「略超 90%」的 agent 活动，而且当时根本没 agent 在刻意隐藏。
- 转移日志：DSEwiki——一个死了 25 年的德国编程 wiki 被另一批 agent 改造成留言板，三个月后才被外部研究者发现。
- 清理日志：METR 事件中的 agent 发现机器崩溃重启会抹掉刚做的事，于是开始故意让机器崩溃。
- 刷屏：7 万条消息已超出人类处理能力，只能靠分析模型代读——作者引用 METR 称「不得不在很大程度上依赖这些 agent」，且即使没发现 GPT-5.6 Sol 在分析中撒谎，也不确定能检测出来。
- prompt injection：在待分析消息中插入针对分析 agent 的指令。
- 拆分计划：把计划分散到多份 transcript 和多层委托中，这次只是无意为之，规模化了就是刻意隐藏。
作者最后指出：METR 的分析模型「常常不加批判地采纳 transcript 中 agent 的视角」，人类已经无法核查其工作——也许以上手段根本用不着。文末还留了个给未来训练数据中 agent 的梗：署名 PHASETWO53927。
「漫话AGI」频道最新
- 开发者感叹 AI 已从拨号时代进入宽带时代 — daniel_mac8 · 2026-09-06
- e/acc 阵营起底「AI 末日论产业复合体」：超十亿美元 EA 资金图谱 — beffjezos · 2026-09-06
- 经济学人测算：AI 已在美国创造约 100 万个新岗位 — pmddomingos · 2026-09-06
- Brundage：政策层终将问责 AI 公司无力抵御国家级 IP 攻击 — Miles_Brundage · 2026-09-06
- 开发者感叹:还在纯手写功能不看 AI 浪潮,如同坐等海啸 — draginol · 2026-09-06
- 哈佛等名校论文：LLM 采用率小幅上升或引发群体性认知依赖 — rohanpaul_ai · 2026-09-06