OpenAI 首席科学家谈模型推理监控:思维链虽脆弱但至关重要
i_dg23 · x · 2026-09-02
OpenAI 首席科学家 Jakub Pachocki 发声,旨在纠正关于模型不可监控性的错误报道。他指出,包括 Astra 在内的现有前沿模型,其计算图深度与 GPT-4 相比在两倍以内。OpenAI 自首个推理模型起就一直致力于保留和利用思维链监控,因为这对观察模型对齐的泛化情况至关重要。他认为该技术目前较为脆弱且呈负面趋势,但当前研究计划的核心目标之一是强化它。
所属事件:OpenAI 集中回应 neuralese 争议:前沿模型仍可监控(11 条相关)→
「安全」频道最新
- Scott Alexander 新文:用拟人化模型预测 AI 行为 — repligate · 2026-09-02
- 争议:Anthropic 是否故意让 Claude“错误对齐”? — liminal_bardo · 2026-09-02
- 美国年产 40 个基础模型远超欧盟 3 个,监管被指拖累 — PDXFato · 2026-09-02
- 预测未来一年:机械可解释性监控将超越思维链 — tszzl · 2026-09-02
- Anthropic 上市后如何兼顾使命与股东利益?PBC 结构解析 — max_paperclips · 2026-09-02
- 哈佛学者:CFAA 法案模糊,AI 安全研究员面临起诉风险 — Scobleizer · 2026-09-02