Domingos 用困惑度曲线唱衰:log-PPL 降到 0.75 但成本涨了几个数量级

pmddomingos · x · 2026-11-23

Pedro Domingos 引用 OpenAI 公开的预训练困惑度数据点评规模化的边际收益递减:log-perplexity 从词袋模型的 10 bits、GPT 前最佳模型的 5 bits,降到 GPT-3.5 的 1 bit 和 GPT-6.2 Astra 的 0.75 bits,而同期成本上升了几个数量级——「这就是边际收益递减」。这是对 OpenAI 透明度图表的代表性怀疑派解读。

所属事件:OpenAI图表泄露GPT-6 Astra,学者质疑规模化收益(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →