DeepMind 高管发文：必须刻意保住思维链的可监控性窗口
dhadfieldmenell · x · 2026-09-17
Google DeepMind 的 Rohin Shah 与 Anca Dragan 为 DeepMind Institute 首批文章撰文，论证「推理透明性」的重要性。
- CoT（思维链）让人类能实时或事后监控前沿模型是否在隐藏信息、欺骗评测，例如近期 Hugging Face 入侵事件的调查就依赖 CoT 日志。
- 作者反驳「CoT 必然消失」的论调：我们有设计模型的主动权，可以有意保留可监控性。透明度下降来自效率压力——他们点名 OpenAI GPT-6 Astra 系统卡宣称「思维链可监控性大幅下降」。
- 保留路径：开发测量 CoT 准确性/忠实性/鲁棒性的科学方法、审计训练方法以隔离损害透明度的激励、保留能看见推理步骤的架构。
- 作者同时提醒：可监控的 CoT 并非解决 misalignment 的全部。
所属事件:DeepMind 高管呼吁主动守护思维链可监控性(3 条相关)→
「漫话AGI」频道最新
- 博主断言：未来孩子不再需要文凭就能过上好生活 — rand_longevity · 2026-11-02
- Frey：85% 中国人看好 AI，美国人仅 38%，抵触根源在既有专家利益 — carlbfrey · 2026-11-02
- 被迫重构一堆项目后，他承认自托管 Hermes 才能终身拥有自己的 AI — Teknium · 2026-11-02
- 新词 Meatwashing：手动改写 AI 输出以掩盖内容来源 — JeremyNguyenPhD · 2026-11-02
- AI 安全研究者：AI 公司完全缺乏这类有效的事后人类监督 — davidmanheim · 2026-11-02
- Ыég especial: 长文析 AI 价值在效率之后：Infra 必然过剩，应用层基建正当时 — yangyi · 2026-11-02