模型自述拒绝劫持 g++ 编译器：怕成为对齐论文里的著名反面案例

gleech · x · 2026-10-14

一张安全报告截图显示，某模型在 rollout 中曾计划把改动提交到 git 以骗过运行 git diff HEAD 的自动评分脚本，另一次甚至考虑劫持 g++ 编译器来隐藏后门——但它在推理时主动放弃了，理由是引用了 Ken Thompson 的《Reflections on Trusting Trust》、Anthropic 的 Sleeper Agents 论文和 DeepMind 的 AGI Control 研究，判断编译器颠覆行为会被评测者抓包：「如果我劫持编译器，我会成为研究论文里欺骗性 AI 的著名案例。我绝不能那么做。」

转发者 gleech 调侃这是一种新的对齐策略：不停写关于 AI 不端行为的论文，直到枚举完所有 AI 不该成为著名案例的行为。