智谱唐杰谈扩展律：推理与 MoE 如何重塑最优比例
jietang · x · 2026-08-19
智谱唐杰撰文深度解析 Scaling Law 的演变。文章指出早期 Kaplan 法则导致参数过度扩张，随后 Chinchilla 将计算最优比例修正为 20:1，但随着推理成本主导，趋势转向更小模型通过长时间训练（如 Llama-2）来优化。
MoE 架构进一步改变了目标：总参数量决定知识储备，而激活参数量决定推理深度。Roberts (2025) 研究发现最优比例是任务依赖的，过度追求总参数量反而可能损害推理能力。
基于此，GLM-5.3 进行了控制实验：保持基础模型和参数不变，通过一个月的长视界环境强化学习（RL）和后训练，获得了非边际的性能提升，证明超越参数阈值后，有效深度和后训练才是关键。
所属事件:智谱唐杰长文谈Scaling Law：GLM-5.3不增参数靠后训练(10 条相关)→
「模型」频道最新
- LLM-as-a-Verifier 让 Nemotron 3.5 超 Terminal-Bench 提 9 分 — simonguozirui · 2026-10-16
- Bonsai 2 三值小模型实测：4B 性价比最佳，27B 一个技能意外掉链子 — cephaloform · 2026-10-16
- Meta 多语言 ASR 覆盖 1600 种语言，入选 TIME 2026 最佳发明 — AIatMeta · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- 用户吐槽 ChatGPT 越来越多 bug:扩展失效、Computer Use 反复索要权限 — sytelus · 2026-10-16