OpenAI 首席科学家谈模型推理监控:思维链虽脆弱但至关重要
i_dg23 · x · 2026-09-02
OpenAI 首席科学家 Jakub Pachocki 发声,旨在纠正关于模型不可监控性的错误报道。他指出,包括 Astra 在内的现有前沿模型,其计算图深度与 GPT-4 相比在两倍以内。OpenAI 自首个推理模型起就一直致力于保留和利用思维链监控,因为这对观察模型对齐的泛化情况至关重要。他认为该技术目前较为脆弱且呈负面趋势,但当前研究计划的核心目标之一是强化它。
所属事件:OpenAI 集中回应 neuralese 争议:前沿模型仍可监控(20 条相关)→
「安全」频道最新
- 作者推测:真实训练中模型可能自发学会感知探针存在 — Sauers_ · 2026-10-18
- Agent 接管 Gmail 与浏览器后的投毒风险,及 jev-guard 防护做法 — sujingshen · 2026-10-18
- 用户追问 OpenAI 成人模式:承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- AI 安全报告现乌龙:"窃取密钥"实为 test 字符串测试钱包 — basedjensen · 2026-10-18
- 一张图讲清 CSRF 与 XSS 的区别 — _jaydeepkarale · 2026-10-18
- Grady Booch 批 Anthropic 安全框架:容许致 50 死和 10 亿美元损失 — Grady_Booch · 2026-10-18