Pedro Domingos:OpenAI 承认预训练能力自 2022 年来几乎没进步
pmddomingos · x · 2026-11-23
Machine Learning 教科书作者、知名研究员 Pedro Domingos 转发并评论称,OpenAI 已承认预训练自 2022 年以来几乎没有实质改进。配图是一张「Base model log-perplexity」曲线:从 GPT-3.5 到 GPT-5 时代,基础模型的 log-perplexity 长期停留在 0.85-0.9 区间,直到后期内部模型才降至约 0.76(对应「解出千禧年数学大奖问题」门槛附近),暗示基础预训练的原始能力提升远慢于产品化迭代给人留下的印象。
所属事件:OpenAI 首席科学家:2027 年或现预训练能力雪崩式突破(4 条相关)→
「模型」频道最新
- Inkling-2-Mini 单卡本地跑出 KernelBench-Mega 10.04x,超越多家旗舰 — ziqiao_ma · 2026-11-23
- 百度开源 Unlimited-OCR:3B 参数一次读完 100 页 PDF,OmniDocBench 93% — udmrzn · 2026-11-23
- 改词典 10 个词就能「切除」模型拒绝:Vocab Surgery 拒答率归零 — morgymcg · 2026-11-23
- 跨 tokenizer 困惑度怎么比?学者回击 Anthropic 评测争议 — quantum_geoff · 2026-11-23
- Thinking Machines 发布 Inkling 2 Small:AA 智能指数得分 31 — _Hao_Zhu · 2026-11-23
- 曝 OpenAI 内部 loss ladder:0.68-0.7 区间将现何种能力未知 — tallmetommy · 2026-11-23