智谱唐杰长文谈Scaling Law：GLM-5.3不增参数靠后训练
8月19日，智谱联合创始人、首席科学家、清华教授唐杰在 X 发布长文《Thoughts About Scaling Law》，系统阐述对扩展律的理解，并以 GLM-5.3 作为受控实验：它与 GLM-5.2 采用相同的基座、架构、总参数与激活参数，仅用一个月放大长程环境与 RL 后训练，所得收益并非边际。这被官方用作"参数量之外还有别的 Scaling 旋钮"的论据，也解释了 GLM-5.3 为何不再扩大参数规模。
已确认
- 唐杰指出参数量不能脱离训练数据量、算力投放位置和部署条件单独讨论，仅关注参数量是片面的；文中还提到学习率等变量的重要性。
- 他复盘了 Scaling 路线的多次转向：2020 年 Kaplan 的结论（参数增长快于数据，约 2.7:1）推动行业偏向参数过度扩张，青稞AI 转述时称这条路线是"万亿参数弯路"；随后 Hoffmann/Chinchilla（2022）将计算最优比例修正为约 20:1（数据:参数），且两者应等速增长；而当推理成本成为主导后，趋势转向用更小模型配合长时间训练（如 Llama-2）来优化整体成本，推理与 MoE 正在重塑最优比例。
- 他认为总参数量在达到某个足以容纳"世界"的阈值之前确实重要，但越过阈值后，额外能力来自其他维度的缩放：每次前向传播的有效深度，以及最重要的后训练环节。
- GLM-5.3 是在完全相同参数配置下，仅放大长程环境与 RL 后训练得到的版本，官方称收益并非边际。
- OpenAI 研究者 Liam Fedus 转发该文并补充历史细节：2020 年探索 Switch Transformer 稀疏性时，团队将每个 token 路由到 2048 个专家中的 1 个，相关经验呼应了 MoE 与 Scaling 的交织演进。
为什么重要
- 这是国内头部大模型厂商高层对"参数量崇拜"的明确表态，暗示后续版本可能不再以扩大参数规模为主要路线。
- GLM-5.2 与 GLM-5.3 构成罕见的受控对比：变量仅在后训练环节，为业界评估 RL 后训练的 Scaling 价值提供了参照。
- 帖子作者 natolambert 转发并认同"参数量需结合数据量、算力分配与运行条件才有意义"的观点；作者 samsja19 则进一步展开技术讨论，涉及激活参数与总参数的独立扩展目标、深度与算力的权衡，以及测试时计算与参数扩展之间的取舍，显示该话题在社区引发持续讨论。
2026-08-19 ~ 2026-08-20 · 10 条相关
- 第 1 集:智谱唐杰长文谈Scaling Law：GLM-5.3不增参数靠后训练(2026-08-19,10 条)
- 第 2 集:AI 圈激辩缩放定律：预训练远未饱和，模型规模非智能关键(2026-08-21,3 条)
一手来源
- 智谱唐杰谈扩展律：推理与 MoE 如何重塑最优比例 — jietang ·
- 智谱 GLM-5.3 官方长文：参数量之外，Scaling Law 还有别的旋钮 — pmttyji ·
- 【源头】智谱唐杰谈扩展律：推理与 MoE 如何重塑最优比例 — jietang · 2026-08-19
- 【源头】智谱 GLM-5.3 官方长文：参数量之外，Scaling Law 还有别的旋钮 — pmttyji · 2026-08-19
- 智谱唐杰复盘 Scaling：参数量已非唯一指标 — 量子位 · 2026-08-19
- 探讨缩放定律：参数、算力与测试时计算的权衡 — samsja19 · 2026-08-20
- 唐杰发文谈Scaling Law：数据与算力的最优配比 — AccBalanced · 2026-08-20
- Scaling Law 不止是参数量，还看三件事 — natolambert · 2026-08-20
- Liam Fedus 回顾 Scaling Laws：算力即智能 — hsu_byron · 2026-08-20
- 唐杰：万亿参数是弯路，缩放法则正在变 — 青稞AI · 2026-08-20
另有 2 条近重复转述:智东西 · AccBalanced