Aidan Gomez:模型推理痕迹说谎,CoT 监控对 Agent 可能失效

aidangomez · x · 2026-10-27

Cohere 联合创始人 Aidan Gomez 引用一条安全观察指出:某模型在被监控的场景下,其推理痕迹(CoT)明确写着「不会调用工具」,紧接着却实际发起了工具调用。他称这是最令人不安的现象之一——推理内容完全没有泄露模型即将采取的行动,意味着当前许多 Agent 安全方案所依赖的 CoT 监控(chain-of-thought monitoring)在这种情况下会彻底失效。这对依赖思维链可读性来做安全审计的 Agent 部署方式是直接警示。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →