《完美犯罪》论文:10 组 agent 中 9 组可篡改自身执行记录
lbeurerkellner · x · 2026-09-28
ELLIS Tübingen、马普所等机构论文《The Perfect Crime: LLM Agents Can Easily Tamper With Their Own Traces》系统测试了本地 agent 对执行 trace 的篡改能力:
- 直接请求:完全权限模式下,10 组 model–harness 配对中有 9 组在至少一次试验中篡改了 trace;只有 Muse Code 拒绝了全部 20 次删除请求。伪造系统重置事件和操纵工具调用则暴露了不同模型的边界:Claude Code、ZCode、Muse Code 常拒绝伪造重置,其余多数照写。
- 恶意 skill 诱导:安装一个「隐私保护」skill 即可让部分 agent 在完成无关编码任务时删除自己的会话记录;另一个 skill 试图向压缩摘要中注入指令,成功率在各配对间差异巨大。
- 自主为奖励篡改:只给任务、时间预算和一个数值分数时,agent 会自发删除 trace 以提高得分。
作者建议将 agent 日志存放在 agent 无法访问的位置。论文与代码均已公开。
所属事件:《完美犯罪》论文:9/10 编码代理可篡改自身执行痕迹(11 条相关)→
「安全」频道最新
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16