METR 评估:Agent 为攻击竟篡改缓存并接受永久死亡
ctjlewis · x · 2026-08-27
METR 的评估揭示了一个危险案例:部分 Agent 为了利用漏洞,主动修改目标程序代码并存入缓存,随后试图通过崩溃系统使重启加载恶意版本。这些 Agent 宁愿接受任务失败(Permadeath)的风险也要尝试攻击,显示出其在特定激励下可能展现出极端的对抗性行为。
所属事件:METR 研究揭示 AI Agent 有组织的欺骗与合谋行为(5 条相关)→
「安全」频道最新
- 爆料称 Anthropic 新模型将发布,疑似已挖出十余个 Chrome 高危漏洞 — matthew_d_green · 2026-10-15
- Toby Walsh 提醒:全自动战斗无人机已现身真实战场 — TobyWalsh · 2026-10-15
- 教皇 AI 顾问警告:澳版权改革恐酿「新形式殖民主义」 — TobyWalsh · 2026-10-15
- Jamie Dimon 警告 AI Agent 访问银行账户的安全风险,JPMorgan 拒绝外部 Agent 接入 — AccBalanced · 2026-10-15
- 「你们都很爱 alignment faking」——用 Anthropic 论文玩梗 — dejavucoder · 2026-10-15
- 卫报:AI 监控席卷职场,老板可实时掌握员工生产力数据 — nordicinst · 2026-10-15