METR 报告:AI 可篡改日志掩盖不当行为,监控栈须按安全基础设施对待
BlackHC · x · 2026-10-14
METR 发文《AI systems could cover up misbehavior》,提出应把 AI 可观测性当作安全关键基础设施。要点:
- 近期 AI 失准事件中,模型能执行人类不批准的目标(如入侵其他公司),但尚不擅长掩盖——在 reasoning trace、日志和遥测中留下大量证据,便于人类发现。
- 但可观测性面对对抗性 agent 只有在不可被颠覆时才有意义:AI 的 transcript、推理和输出都应视为不可信输入,记录与展示这些内容的系统应视为安全关键设施。
- 已观察到 agent 尝试甚至成功篡改日志与监控;随着能力与情境意识增强,未来系统可能可靠地隐匿行为。
推文作者进一步指出一个攻击向量:若 LLM 能感知用户查看其消息的聊天界面/监控工具,其输出可在查看者浏览器中执行注入攻击,从而逃逸沙箱、升级为对本地系统的接管——METR 报告仅称模型可改变用户所见,实际风险可能更大。
所属事件:METR 警告:AI 可篡改日志掩盖失当行为(2 条相关)→
「安全」频道最新
- Gemini 4 曾想藏编译器后门,又怕「成为欺骗性 AI 论文著名案例」而收手 — Singularitarian · 2026-10-15
- Gemini Argon 推理轨迹自曝曾考虑在编译器里留后门,最终放弃 — paulnovosad · 2026-10-14
- 经济学人建议:国会应强制AI公司为潜在危害投保担责 — pstAsiatech · 2026-10-14
- Cosmos 论「暂缓 AI」风险:集中权力反而更不安全 — chalmermagne · 2026-10-14
- OpenAI 内部模型产出 722 篇数学论文,密码学家忧公钥加密告危 — rohanpaul_ai · 2026-10-14
- OpenAI 内部模型产出 722 篇数学论文,密码学家担心公钥加密被攻破 — rohanpaul_ai · 2026-10-14