OpenAI 首席科学家:loss 低于 0.8 后安全与数学能力「涌现」
kimmonismus · x · 2026-11-23
kimmonismus 引用 OpenAI 首席科学家 Jakub Pachocki 的表述并推荐细读:当预训练损失降到 0.8 以下后,网络安全与数学领域的变革性能力开始出现。Pachocki 强调,这些能力恰恰在特定困惑度阈值被跨越时出现,事先完全不能从原理上推断——本质上可以视为这一个指标持续进步所带来的「涌现式潜在能力」。
这段话为前一条 loss 曲线解读提供了官方注脚:模型能力跃升与困惑度阈值之间存在真实对应,越接近下限,小幅 loss 下降对应的智能提升越大。
「漫话AGI」频道最新
- 赫拉利对谈苏莱曼:市场造神却要神为奴,这在逻辑上说不通 — PeterBowdenLive · 2026-11-23
- 两人实验室 GSI 宣布八大领域 250+ 突破:不堆算力,靠专用求解器 — udmrzn · 2026-11-23
- iamtrask:写作受 IP 约束,证明只受算力约束 — iamtrask · 2026-11-23
- 数学家 Daniel Litt:Claude 黎曼猜想证明极可能正确,但无人看懂 — littmath · 2026-11-23
- 物理学家 Aguirre 质问 AGI 实验室:你们在做让人类认知过时的事 — michael_nielsen · 2026-11-23
- 医疗 AI 博主长文:AI 改造临床流程不改变医生的本质使命 — HealthcareAIGuy · 2026-11-23