DeepMind 高管发文：必须刻意保住思维链的可监控性
ancadianadragan · x · 2026-09-17
Google DeepMind 的 Rohin Shah（AGI 安全与对齐总监）与 Anca Dragan（AI 安全与行为副总裁）在 DeepMind Institute 成立之际联合发文，主张应主动保护推理模型的思维链（CoT）透明度。
- 为什么重要：阅读 CoT 是目前监控前沿模型是否图谋欺骗、在评测中作弊的主要手段，Hugging Face 黑客事件的调查就依赖 CoT 日志。
- 风险所在：若无明确承诺，未来推理模型可能因追求效率而采用更不透明的架构。文中提到 OpenAI GPT-6 Astra 的系统卡自称「CoT 可监控性大幅下降」。
- 可做的事：开发者对模型设计有能动性——可开发衡量 CoT 准确性/忠实性/鲁棒性的科学方法、审计训练方法以隔绝损害透明度的激励、保留可观察推理步骤的架构。
作者强调可监控的 CoT 并非解决对齐问题的全部，但是必须守住的一扇窗。
所属事件:DeepMind 高管呼吁主动守护思维链可监控性(3 条相关)→
「漫话AGI」频道最新
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Sam Altman 断言：AI 已超越顶尖科学家，2026 将是历史转折点 — kimmonismus · 2026-11-02
- DeepSeek 设计文档：一人只能盯 3-5 个 agent 会话，瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02
- 哲学家 Toby Ord：同时追踪模型上限与下限才能看清能力边界 — tobyordoxford · 2026-11-02
- 「Forward Deployed Verifier 将比 FDE 更值钱」:专业判断最晚被模型化 — vaibhavbetter · 2026-11-02