OpenAI 首席科学家:loss 低于 0.8 后安全与数学能力「涌现」

kimmonismus · x · 2026-11-23

kimmonismus 引用 OpenAI 首席科学家 Jakub Pachocki 的表述并推荐细读:当预训练损失降到 0.8 以下后,网络安全与数学领域的变革性能力开始出现。Pachocki 强调,这些能力恰恰在特定困惑度阈值被跨越时出现,事先完全不能从原理上推断——本质上可以视为这一个指标持续进步所带来的「涌现式潜在能力」。

这段话为前一条 loss 曲线解读提供了官方注脚:模型能力跃升与困惑度阈值之间存在真实对应,越接近下限,小幅 loss 下降对应的智能提升越大。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →