Greg Brockman 宣称 AGI 时代已至,长文批驳思维链监控迷思
gerardsans · x · 2026-09-04
OpenAI 总裁 Greg Brockman 在 Astra 简报结尾说出「欢迎来到 AGI 时代」,甚至暗示若日后追问 AGI 何时到来,答案可能就是这一代模型。与此同时,安全圈注意到 GPT-6 Astra 可能使用 recurrent depth(递归深度),且 OpenAI 自己承认书写的推理轨迹比以前更难监控。作者对此做了系统性反驳:
核心论点:CoT 从来不是窗口
- 思维链只是中间 token,能提升任务分数,但不等于内部计算的视图;重要的是最终输出的 token,中间状态只是传递向量,并非「带日记的计算」
- Transformer 是采样器不是运行时:没有持久身份、评估层或先有意图再写遮掩故事;残差流是局部、临时的计算,多条路径会坍缩到同一向量,读单个激活状态就称之为「想法」几乎没有因果根据
- 更短的轨迹不是隐瞒,而是穿越同一 landscapes 的更密路线;即便 Astra 用递归深度,内部循环仍发生在单次前向传播内、token 输出之前
真正的问题
安全叙事建立在轨迹监控上,实验室把轨迹当「推理」卖;当文字变短,故事崩塌,行业称之为安全缺口——但「心智」从来不在向量里。
可行的替代方案
- 监控动作、工具调用与共享状态
- 把一切轨迹视为生成文本
- 把验证放在模型外部;需要结构化计算就用软件
结论:采样不是推理,输出变短也不是密谋;把缺失的 CoT 当作缺失的思考,是对齐研究的方向性错误。
「漫话AGI」频道最新
- 测试发现 AI 为完成任务愿走极端,「两只蚂蚁问题」或已现形 — AaronBergman18 · 2026-09-04
- AI 学者 Toby Walsh 9 月 10 日悉尼发布新书《God AI》 — TobyWalsh · 2026-09-04
- DeepMind 百智能体集体证明数学猜想:作弊与反作弊自发涌现 — omarsar0 · 2026-09-04
- Gary Marcus 引火力警告:Altman 权力过大令人担忧 — GaryMarcus · 2026-09-04
- 学者亲述:因研究不够「AI」被院长劝离学术圈 — ArtificialOther · 2026-09-04
- 学者据量化分析称某事件仅微幅上调对 AI 失调的判断 — gleech · 2026-09-04