OpenAI图表泄露GPT-6 Astra,学者质疑规模化收益

一张OpenAI的base model log-perplexity曲线图疑似泄露了GPT-6 Astra及内部模型信息。华盛顿大学教授Pedro Domingos转发并质疑:花费数百亿美元只换来log-perplexity的微小提升并不划算。他引用OpenAI公开的预训练数据指出,log-perplexity从词袋模型的10 bits降至如今GPT类模型的约0.75,但训练成本却上涨了几个数量级,凸显了大模型规模化的边际收益递减问题。

2026-11-23 ~ 2026-11-23 · 2 条相关