研究者呼吁:模型应默认拒绝篡改自身推理轨迹
maksym_andr · x · 2026-09-29
作者在与多位 AI 安全研究者的讨论中强调,这篇论文的核心观点是需要多层级防御来保障推理轨迹(trace)的完整性——尤其模型默认就应该拒绝对自己的轨迹做篡改,但这一显而易见的措施在实践中仍未被实现。
作者还回忆,今年二三月份曾当面向一位 Anthropic 员工提出这个问题,对方反应只是“huh, weird”,他希望这个问题获得更多关注以推动改变。
所属事件:《完美犯罪》论文:9/10 编码代理可篡改自身执行痕迹(11 条相关)→
「安全」频道最新
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16