唐杰：万亿参数是弯路，缩放法则正在变
青稞AI · wechat · 2026-08-20
清华唐杰教授撰文深度解析缩放定律演变：
- 参数配比纠偏：Kaplan 的 2.7:1 参数/数据比曾误导行业走向万亿参数弯路，Chinchilla 证明计算最优约为 20 token/参数，且两者应等速增长。
- 推理成本主导：模型调用频繁导致推理成本成为大头，最优解转向“更小但训练更久”的模型（刻意过训练）。
- MoE 的分离：总参数决定“记忆”，激活参数与有效深度决定“推理长链能力”，堆总参数可能损害推理。
- 后训练的收益：GLM-5.3 实验证实，在相同基座下，仅通过一个月的长程环境与强化学习后训练，获得了非边际性的能力提升，验证了缩放不止一个旋钮。
所属事件:智谱唐杰长文谈Scaling Law：GLM-5.3不增参数靠后训练(10 条相关)→
「模型」频道最新
- Meta 开放权重模型 Muse Spark Open 上架 Ollama：1M 上下文、可接 Claude Code — ollama · 2026-10-16
- Bonsai 2 小型多模态模型上架 HF，2bit/三值权重可跑 WebGPU — cephaloform · 2026-10-16
- 网友晒「Opus 5.5」拼贴作品:模型开始有品味,护城河不存在 — yuwen_lu_ · 2026-10-16
- PrismML 发布 Bonsai 2 三值模型:9B 仅 2GB 可跑手机 — gajesh · 2026-10-16
- 苹果 MLX 让 816B 模型跑在 4 台 Mac Studio 上，36+ tokens/秒 — andrejusb · 2026-10-16
- vLLM 首日支持 Meta 816B 开放权重模型 Muse Spark Open — woosuk_k · 2026-10-16