OpenAI 研究员警告「neuralese」架构：AI 以不透明激活思考难被监督

RyanGreenblatt · x · 2026-09-11

Redwood Research 的 Ryan Greenblatt 发长文表达对「neuralese」架构的担忧——即 AI 从可读的思维链转向以不透明激活进行思考。基于有限的公开信息，他认为 Google 的 Astra 是一个令人警惕的方向性步骤：其架构与训练方法在可监督性（monitorability）与性能之间的权衡，缺乏足够公开证据支撑公众科学讨论，也无法预知 AI 公司未来将如何做这类权衡。他呼吁公司公开必要证据以便形成有根据的公开讨论。OpenAI 研究员 balesni 转发并附和：自己在 OpenAI 工作，认为 AI 灭绝人类的风险超过 10%，此类提案是全行业降低风险的最重要事项之一（但仍不足够）。