唐杰发文谈Scaling Law：数据与算力的最优配比

AccBalanced · x · 2026-08-20

清华唐杰发文探讨 Scaling Law，指出仅关注参数量是片面的。参数量必须结合数据量、算力分配及运行条件才具有意义。文章回顾了从 Kaplan (2020) 建议参数增长快于数据（2.7:1），到 Hoffmann (2022) 通过 400 个模型实验发现计算最优分配接近“20 tokens per parameter”的演进过程。

转发者 Perry Metzger 评论称，这种对技术细节的深入探讨和公开分享与美国 AI 高管（如 Dario）倾向于发布“神经质”的长文且公司极度保密形成鲜明对比，认为这是中国 AI 的一大潜在优势。