曝 OpenAI 内部模型困惑度已破 0.76,GPT-6.2 疑解 Millennium 数学难题
kimmonismus · x · 2026-11-23
kimmonismus 解读 OpenAI 预训练 loss 曲线图,指出多个关键信息:
- 解出 Millennium Prize 数学难题的很可能是 GPT-6.2 Astra:图表中「Solved a Millennium Prize math problem」的能力线正对应 GPT-6.2 Astra 所在的困惑度水平(约 0.75-0.76)
- OpenAI 内部未发布模型已再降约 0.03:这个降幅大致相当于 GPT-5 到 GPT-5.4 的跨度;首席科学家 Jakub Pachocki 表示,越接近 loss 下限,同样的困惑度下降意味着更大的智能跃升
- 迭代在加速:Millennium Prize 结果来自 9 月初的内部模型,不到 3 个月已有更低 loss 的新内部模型
- Pachocki 预计 0.68-0.7 区间将出现新能力,2027 年前预训练研究可能迎来类似数学领域的「雪崩式」突破;OpenAI 称 AI 自身已参与设计最新模型,2026 年预训练进度将陡然加速
图表将困惑度阈值与能力对应:低于 0.9 「会思考获益」、0.86 「可用编码者」、0.82 「网络安全专家」、0.75 解 Millennium 难题。作者强调损失低于 0.8 后网络安全与数学领域的变革性能力涌现,且这类能力涌现事先并不显然。
所属事件:传 OpenAI 内部模型困惑度大幅跃升,两月追平代际差(3 条相关)→
「漫话AGI」频道最新
- Snorkel 创始人对谈:AI 数据从海量简单任务转向专家级复杂工作 — ajratner · 2026-11-23
- AI 时代开发者新超级能力:学架构模式、驾驭而非手写代码 — DavidWells · 2026-11-23
- David Sacks:Anthropic 正向 IPO 投资者兜售递归自我改进 — DavidSacks · 2026-11-23
- 预训练越高效,后训练 RL 越易失准:对齐「节奏」问题引热议 — dylan522p · 2026-11-23
- 赫拉利对谈苏莱曼:市场造神却要神为奴,这在逻辑上说不通 — PeterBowdenLive · 2026-11-23
- 两人实验室 GSI 宣布八大领域 250+ 突破:不堆算力,靠专用求解器 — udmrzn · 2026-11-23