Astral Codex Ten 长文剖析「神经语递归」:OpenAI 首席科学家的解释能打几分
Astral Codex Ten · rss · 2026-09-25
Scott Alexander(Astral Codex Ten)长文讨论「neuralese recurrence」(神经语递归)是否已成为现实,以及它对 AI 安全意味着什么。
- 什么是递归:现代 transformer 约 100 层;2024 年起模型用思维链草稿循环多轮处理复杂问题。思维链恰好利于安全——思考过程以英文可读,便于监控。
- neuralese recurrence 的风险:若中间结果不用文字而以数千维向量直接回送输入层循环,推理更深更快,但人类无法读出 AI 在想什么,AI 2027 曾以此作为 AI 逃脱监控的前提。
- Pachocki 的回应:OpenAI 首席科学家称新模型 Astra 的计算图深度「在 GPT-4 的两倍以内」——递归只是增加层数的手段,与直接堆 180 层的普通 transformer 在对齐意义上无异。
- Alexander 的分析:递归循环复用同一层,不如真实新层——真实层增加知识与思维「容量」,循环只是让同一思维方式运转更久(如数学家反复思考同一题)。估算显示循环翻倍层数仅带来约 +0.03「代」的能力增益,而真实翻倍层数约 +0.25 代。
结论倾向:当前递归不构成「不可读思维」的实质威胁,但深度增大长期仍需警惕。
「漫话AGI」频道最新
- 历史学者用 GPT-6 与 Opus 5.5 破解约翰·迪伊密码、追溯达尔文思想源流 — emollick · 2026-09-25
- Katzenberg 长文谈 AI 与创意:动画级生成让他想起 1986 年的 Luxo Jr. — trq212 · 2026-09-25
- Brundage 补充:Anthropic 暗示风险可控,但现实远非如此 — Miles_Brundage · 2026-09-25
- 前 OpenAI 安全高管质疑 Anthropic:宣称基本掌握模型风险显然不实 — Miles_Brundage · 2026-09-25
- 用 GPT-6 和 Opus 5.5 破解 17 世纪密码与炼金术知识脉络 — emollick · 2026-09-25
- AI Explained 深读 Opus 5.5:自动化 AI 研究还有多远 — AI Explained · 2026-09-25