参数量存在阈值？观点称后训练才是未来能力增量关键

cephaloform · x · 2026-08-19

针对当前模型发布过度关注参数数量的现象，Teortaxes 提出观点：总参数量仅在达到“容纳世界”的阈值前起关键作用，之后的能力增长将更多来自于有效深度（forward pass depth）以及后训练（Post-training）。该观点将 GLM-5.3 视为验证这一假设的受控实验。引用的背景文章也强调，Scaling Law 不仅关乎参数，还涉及数据量、算力分配策略以及运行条件，行业已从单纯追求参数规模转向更复杂的计算最优平衡。