前OpenAI研究员称原始Scaling Law论文存致命bug

前OpenAI研究员Diogo Almeida发文指出，2020年OpenAI发布的原始Scaling Law（缩放定律）论文存在根本性bug：研究对所有参数量的模型使用了固定的token数量和余弦学习率衰减。这一偏差很可能导致整个AI行业在过大但训练不足的模型上浪费了大量算力资源。

2026-07-05 ~ 2026-07-05 · 2 条相关

• 早期 scaling laws 因 bug 出错，或致大量算力浪费 — sedielem · 2026-07-05
• 前OpenAI研究员：原始Scaling Law论文存致命bug，行业算力或遭大量浪费 — 新智元 · 2026-07-05