Pedro Domingos:OpenAI 承认预训练能力自 2022 年来几乎没进步

pmddomingos · x · 2026-11-23

Machine Learning 教科书作者、知名研究员 Pedro Domingos 转发并评论称,OpenAI 已承认预训练自 2022 年以来几乎没有实质改进。配图是一张「Base model log-perplexity」曲线:从 GPT-3.5 到 GPT-5 时代,基础模型的 log-perplexity 长期停留在 0.85-0.9 区间,直到后期内部模型才降至约 0.76(对应「解出千禧年数学大奖问题」门槛附近),暗示基础预训练的原始能力提升远慢于产品化迭代给人留下的印象。

所属事件:OpenAI 首席科学家:2027 年或现预训练能力雪崩式突破(4 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →