OpenAI图表泄露GPT-6 Astra,学者质疑规模化收益
一张OpenAI的base model log-perplexity曲线图疑似泄露了GPT-6 Astra及内部模型信息。华盛顿大学教授Pedro Domingos转发并质疑:花费数百亿美元只换来log-perplexity的微小提升并不划算。他引用OpenAI公开的预训练数据指出,log-perplexity从词袋模型的10 bits降至如今GPT类模型的约0.75,但训练成本却上涨了几个数量级,凸显了大模型规模化的边际收益递减问题。
2026-11-23 ~ 2026-11-23 · 2 条相关
- OpenAI 图表泄露 GPT-6 Astra 与内部模型,Domingos 质疑数百亿美元收益 — pmddomingos · 2026-11-23
- Domingos 用困惑度曲线唱衰:log-PPL 降到 0.75 但成本涨了几个数量级 — pmddomingos · 2026-11-23