智谱唐杰详解Scaling Law:GLM-5.3 不增参数，转向后训练
智东西 · wechat · 2026-08-19
智谱联合创始人、首席科学家唐杰在 X 发长文阐述对 Scaling Law 的理解，并解释 GLM-5.3 为何不再扩大参数规模。
他指出参数量不能脱离训练数据量、算力投放位置和部署条件单独讨论：2020 年 Kaplan 的结论推动行业猛增参数（GPT-3、Gopher 等），2022 年 Chinchilla 纠正为参数与数据近乎同速增长，追逐万亿参数是行业集体走过又折返的弯路。但随着推理成本在模型全生命周期中占比上升，最优解又转向「更小规模、更长训练」的有意过度训练（如 Llama-2-7B）；MoE 时代还需区分总参数量（决定知识容量）与激活参数量（决定推理链深度）。
GLM-5.3 是一次对照实验：基础模型、架构、总参数量与激活参数量与 GLM-5.2 完全相同，仅用一个月扩大长程任务环境和强化学习训练，取得的并非小幅提升。唐杰把 Scaling 比作多个旋钮——这次选后训练只因它剩余空间最大，未来仍可能回到中期训练、预训练等方向。
所属事件:智谱唐杰长文谈Scaling Law：GLM-5.3不增参数靠后训练(10 条相关)→
「模型」频道最新
- Meta 开放权重模型 Muse Spark Open 上架 Ollama：1M 上下文、可接 Claude Code — ollama · 2026-10-16
- 网友晒「Opus 5.5」拼贴作品:模型开始有品味,护城河不存在 — yuwen_lu_ · 2026-10-16
- PrismML 发布 Bonsai 2 三值模型:9B 仅 2GB 可跑手机 — gajesh · 2026-10-16
- 苹果 MLX 让 816B 模型跑在 4 台 Mac Studio 上，36+ tokens/秒 — andrejusb · 2026-10-16
- vLLM 首日支持 Meta 816B 开放权重模型 Muse Spark Open — woosuk_k · 2026-10-16
- 同题三包实测:Claude Opus 5.5 全面优于 Gemini 3.8 Flash,token 却只用一半 — umeshonai · 2026-10-16