MIT 教授:困惑度跨过 0.76 阈值,模型进入科学发现新区间
ProfBuehlerMIT · x · 2026-11-23
MIT 教授 Markus Buehler 结合 OpenAI《Perplexity and Intelligence》博客数据与 @merettm 的分析,提出 AI 规模化正进入可能带来「开放式发现」质变能力的新区间。
核心论点
- 早期 scaling law 显示:随模型规模、数据与算力增长,next-token prediction 按简洁幂律改善,依次解锁流畅对话、推理反思、编程、数学等能力。
- 更宏观的模型能力类别同样遵循 scaling law:当基础模型的对数困惑度降至约 0.76 附近,模型开始能在极复杂的开放数学问题上产出成果。
- 配图曲线显示从 GPT-3.5 到最新模型困惑度持续下降,各里程碑(流畅对话→思考→可用编码者→网络安全专家→千禧年数学难题)与困惑度档位一一对应,并标注下一次跨越将带来「未知的未来能力」。
- 机制猜想:更低困惑度 tier 可能对应学到更深层的共享表示;模型一旦能识别并综合不同问题的共性结构,就能把方法、结论、理论跨领域迁移重组,产生真正的科学新颖性。
Buehler 判断:下一次向更低 tier 的扩展可能更具决定性,将显著提升科学发现能力。
所属事件:MIT 教授:困惑度跨过 0.76 阈值,模型进入科学发现新区间(2 条相关)→
「漫话AGI」频道最新
- 放映厅幻灯片刷屏:「需要艺术家,因为机器不会受苦」 — ordax · 2026-11-23
- 用 Claude 构建的黎曼猜想证明问世:1700 万行 Lean,无人能通读 — r0ck3t23 · 2026-11-23
- Gary Marcus 两年前对 o3 的三条预测被指「惊人地准」 — GaryMarcus · 2026-11-23
- 「长期研究」解释遭质疑:为何恰在此刻突然加速? — CFGeek · 2026-11-23
- OpenAI 万智能体 88 小时解纳维-斯托克斯,Anthropic 称证出黎曼猜想 — haider1 · 2026-11-23
- 卡钦斯基 2004 年信件预言:数学家将最先被 AI 取代 — ericwdolan · 2026-11-23