Liam Fedus 回顾 Scaling Laws：算力即智能

hsu_byron · x · 2026-08-20

Liam Fedus 转发了 Jie Tang 关于 Scaling Laws 的文章，并补充了 2020 年探索 Switch Transformer 稀疏性的历史细节。当时团队将每个 token 路由到 2048 个专家中的 1 个，模型总参数达 1.6T（对标前沿模型），但激活参数不足 3B。该模型在 TriviaQA 上刷新 SOTA 且计算效率极高，但在 SuperGLUE 等推理任务上表现不佳。Fedus 总结称，最优的 token-per-parameter 比例高度依赖任务，或者如 Noam Shazeer 所直觉的那样：FLOPs 是智能，参数是知识。