新 scaling law：数据受限下参数应达千万亿级，LLM 严重欠参数化

teortaxesTex · x · 2026-11-03

@industriaalist 团队发布新研究，试图解释人类样本效率远超 LLM 的原因：LLM 被严重欠参数化——大脑以约 2 亿语言 token 训练 100 万亿突触，而 Chinchilla 法则要求 20T token 配 1T 参数，两者每 token 参数量相差 7 个数量级。团队提出新的数据受限 scaling law 与学习算法，外推到千万亿（quadrillion）参数级 transformer：5T token、10^29 FLOPs 下，定律要求约 7000 倍于 Chinchilla 的参数量。作者同时回应质疑称训练如此大的模型需要重新设计学习算法的每个环节。转帖者表示「感谢，我恨这个」。