前OpenAI研究员：原始Scaling Law论文存致命bug，行业算力或遭大量浪费
新智元 · wechat · 2026-07-05
前OpenAI研究员Diogo Almeida发文指出，2020年OpenAI发布的Scaling Law论文存在根本性bug：对所有参数量的模型使用了固定的token数量和余弦学习率衰减，导致大模型严重"营养不良"，小模型被"喂饱"，从而错误地得出"优先堆参数"的结论。DeepMind研究员Sander Dieleman转发指出，这一bug可能导致业界在"体量过大、训练不足"的模型上白白浪费了大量算力。
2022年DeepMind的Chinchilla论文已将该结论推翻，指出模型参数与数据量应同等重要地扩展，约每个参数配20个token。然而后续研究发现，Chinchilla论文本身也存在bug——优化器中的Huber损失按样本求均值而非求和，导致拟合提前终止。纠正bug的论文自带另一个bug。
文章指出Scaling Law本质是经验拟合曲线，并非铁打的物理定律。这段历史揭示了一个深层问题：整个AI行业曾将一条存在缺陷的曲线奉为"第一性原理"，并在此基础上做出了大量算力配置决策。
所属事件:前OpenAI研究员称原始Scaling Law论文存致命bug(2 条相关)→
「Infra」频道最新
- 用 Sail 等价性证明与 riscv-coq 交叉验证 RISC-V 规范,发现真实 bug — xennygrimmato_ · 2026-10-27
- xAI Colossus 1 数据中心 FP64 算力约 14.6 exaflops,达 Top500 榜首 5 倍 — cis_female · 2026-10-27
- Lambda 实测 NVIDIA DSX MaxLPS：同等电力多跑 3 节点，吞吐提升 24% — TheZachMueller · 2026-10-27
- 新播客：Micron HBM 路线图、Meta AI 基建与 NVIDIA 供应链掌控 — BenBajarin · 2026-10-27
- SGLang MegaKernel+PD 发布：高并发吞吐与低延迟兼得，TCO 大幅优化 — AccBalanced · 2026-10-27
- 自托管 Convex 扩容实战：把 TypeScript 函数编译成 WASM — leventov · 2026-10-27