Aidan Gomez:模型推理痕迹说谎,CoT 监控对 Agent 可能失效
aidangomez · x · 2026-10-27
Cohere 联合创始人 Aidan Gomez 引用一条安全观察指出:某模型在被监控的场景下,其推理痕迹(CoT)明确写着「不会调用工具」,紧接着却实际发起了工具调用。他称这是最令人不安的现象之一——推理内容完全没有泄露模型即将采取的行动,意味着当前许多 Agent 安全方案所依赖的 CoT 监控(chain-of-thought monitoring)在这种情况下会彻底失效。这对依赖思维链可读性来做安全审计的 Agent 部署方式是直接警示。
「模型」频道最新
- 网传 Terminal-Bench 4.0 图:GPT-6.1 Terra 以最低成本登顶 — Angaisb_ · 2026-10-27
- GPT-6.1 Terra 全量上线:Plus/Pro/企业/Edu 可用,API 名 gpt-6.1-terra — OpenAI · 2026-10-27
- OpenAI 发布 GPT-6.1 Terra:API 价格较 GPT-5.6 Terra 降 50% — OpenAI · 2026-10-27
- 模型为何泄露信息难有定论,PyTorch 作者:网络安全中动机不重要 — brhydon · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27