唐杰长文谈Scaling Law引AI圈激辩

第 1 集 · 智谱唐杰长文谈Scaling Law：GLM-5.3不增参数靠后训练(2026-08-19,10 条)

8月19日，智谱联合创始人、首席科学家、清华教授唐杰在 X 发布长文《Thoughts About Scaling Law》，系统阐述对扩展律的理解，并以 GLM-5.3 作为受控实验：它与 GLM-5.2 采用相同的基座、架构、总参数与激活参数，仅用一个月放大长程环境与 RL 后训练，所得收益并非边际。这被官方用作"参数量之外还有别的 Scaling 旋钮"的论据，也解释了 GLM-5.3 为何不再扩大参数规模。

已确认

• 唐杰指出参数量不能脱离训练数据量、算力投放位置和部署条件单独讨论，仅关注参数量是片面的；文中还提到学习率等变量的重要性。
• 他复盘了 Scaling 路线的多次转向：2020 年 Kaplan 的结论（参数增长快于数据，约 2.7:1）推动行业偏向参数过度扩张，青稞AI 转述时称这条路线是"万亿参数弯路"；随后 Hoffmann/Chinchilla（2022）将计算最优比例修正为约 20:1（数据:参数），且两者应等速增长；而当推理成本成为主导后，趋势转向用更小模型配合长时间训练（如 Llama-2）来优化整体成本，推理与 MoE 正在重塑最优比例。
• 他认为总参数量在达到某个足以容纳"世界"的阈值之前确实重要，但越过阈值后，额外能力来自其他维度的缩放：每次前向传播的有效深度，以及最重要的后训练环节。
• GLM-5.3 是在完全相同参数配置下，仅放大长程环境与 RL 后训练得到的版本，官方称收益并非边际。
• OpenAI 研究者 Liam Fedus 转发该文并补充历史细节：2020 年探索 Switch Transformer 稀疏性时，团队将每个 token 路由到 2048 个专家中的 1 个，相关经验呼应了 MoE 与 Scaling 的交织演进。

为什么重要

• 这是国内头部大模型厂商高层对"参数量崇拜"的明确表态，暗示后续版本可能不再以扩大参数规模为主要路线。
• GLM-5.2 与 GLM-5.3 构成罕见的受控对比：变量仅在后训练环节，为业界评估 RL 后训练的 Scaling 价值提供了参照。
• 帖子作者 natolambert 转发并认同"参数量需结合数据量、算力分配与运行条件才有意义"的观点；作者 samsja19 则进一步展开技术讨论，涉及激活参数与总参数的独立扩展目标、深度与算力的权衡，以及测试时计算与参数扩展之间的取舍，显示该话题在社区引发持续讨论。

• 智谱唐杰谈扩展律：推理与 MoE 如何重塑最优比例 — jietang · 2026-08-19
• 智谱 GLM-5.3 官方长文：参数量之外，Scaling Law 还有别的旋钮 — pmttyji · 2026-08-19
• 智谱唐杰复盘 Scaling：参数量已非唯一指标 — 量子位 · 2026-08-19
• 智谱唐杰详解Scaling Law:GLM-5.3 不增参数，转向后训练 — 智东西 · 2026-08-19
• 探讨缩放定律：参数、算力与测试时计算的权衡 — samsja19 · 2026-08-20
• 智谱唐杰:GLM-5.3 与 5.2 参数完全相同,仅靠后训练拿到显著提升 — AccBalanced · 2026-08-20
• 唐杰发文谈Scaling Law：数据与算力的最优配比 — AccBalanced · 2026-08-20
• Scaling Law 不止是参数量，还看三件事 — natolambert · 2026-08-20
• Liam Fedus 回顾 Scaling Laws：算力即智能 — hsu_byron · 2026-08-20
• 唐杰：万亿参数是弯路，缩放法则正在变 — 青稞AI · 2026-08-20

第 2 集 · AI 圈激辩缩放定律：预训练远未饱和，模型规模非智能关键(2026-08-21,3 条)

Twitter 用户围绕模型规模与智能的关系展开激烈争论。kalomaze 认为 DeepSeek-V3 早期预训练检查点中潜藏的能力远未饱和，预训练仍有巨大潜力；teortaxesTex 则对缩放定律的有效性提出争议性质疑。与此同时，智谱 GLM 新模型评测遭质疑，有讨论称该模型或为 GLM-5.3/5.4 Vision，并非更大的模型，作者表示若 Lisan 预测正确愿道歉。多方观点共同指向：模型算力规模未必是智能提升的必要条件。

• 智谱 GLM 新模型评测遭质疑，模型规模并非智能关键 — teortaxesTex · 2026-08-21
• 争论：模型算力规模是否仍是智能提升的必要条件 — teortaxesTex · 2026-08-21
• 观点：预训练远未饱和，模型规模非智能巅峰必要条件 — kalomaze · 2026-08-21