智谱唐杰复盘 Scaling：参数量已非唯一指标
量子位 · wechat · 2026-08-19
智谱创始人唐杰发文复盘大模型 Scaling Law 的演变，指出仅靠“参数量”已无法衡量模型水平，需综合考量数据量、算力分配及运行条件。
Scaling 路线的三次转向
- 参数优先：早期 Kaplan 研究认为参数应比数据增长更快，引发万亿参数竞赛。
- 数据补足：DeepMind 提出 Chinchilla 定律，发现当时模型参数过剩而数据不足，20 Token/参数 为计算最优配比。
- 全生命周期成本：考虑到高频推理成本，最优方案再次移动，Llama 2 和 Gemma 2 等模型“超额训练”远超 Chinchilla 标准。
MoE 时代的 Scaling
唐杰将参数拆分为“总参数量”（知识仓库）和“激活参数量”（推理调动能力）。他以 GLM-5.3 为例，保持架构不变，仅通过强化长链任务的后训练，在 Terminal-Bench 等评测上大幅提升。结论是 Scaling 有多个旋钮（参数、预训练数据、后训练等），无需同时转动，当前竞争正从“知识库大小”转向“复杂任务完成能力”。
所属事件:智谱唐杰长文谈Scaling Law：GLM-5.3不增参数靠后训练(10 条相关)→
「公司和人」频道最新
- YC 旗下 Minerva 把 AI 带进 3000 人小镇，并收购多家会计师事务所 — ycombinator · 2026-10-16
- 马斯克点头：为个人智能体打造的电商新物种真有戏？ — elonmusk · 2026-10-16
- 欧盟拟快速放行卫星合资企业，被指仍落后 SpaceX 三年 — robleclerc · 2026-10-16
- YC F26 新公司 Particularity 亮相,主打监管合规 AI — ycombinator · 2026-10-16
- 记者复现 Marc Andreessen 14 岁写的 BASIC 代码，系其最早作品之一 — dinabass · 2026-10-16
- Mila 开放 2027 秋季申请，招募多语言 LLM 方向博士生 — hugo_larochelle · 2026-10-16