Liam Fedus 回顾 Scaling Laws：算力即智能
hsu_byron · x · 2026-08-20
Liam Fedus 转发了 Jie Tang 关于 Scaling Laws 的文章，并补充了 2020 年探索 Switch Transformer 稀疏性的历史细节。当时团队将每个 token 路由到 2048 个专家中的 1 个，模型总参数达 1.6T（对标前沿模型），但激活参数不足 3B。该模型在 TriviaQA 上刷新 SOTA 且计算效率极高，但在 SuperGLUE 等推理任务上表现不佳。Fedus 总结称，最优的 token-per-parameter 比例高度依赖任务，或者如 Noam Shazeer 所直觉的那样：FLOPs 是智能，参数是知识。
所属事件:智谱唐杰长文谈Scaling Law：GLM-5.3不增参数靠后训练(10 条相关)→
「研究」频道最新
- SpliceAI2 剪接变异基准发布,九项评估性能大幅提升 — anshulkundaje · 2026-10-16
- GRPO 后训练会令分布坍缩,长程 Agent 时代反成隐患 — zsakib_ · 2026-10-16
- RFdiffusion3 登 Science:蛋白酶与金属水解酶设计大幅改进 — anshulkundaje · 2026-10-16
- ORL 让扩散语言模型重写速度-智能 Pareto 前沿,吞吐量提升约 6.9 倍 — james_y_zou · 2026-10-16
- CoT 理论论文被赞“解释了 Transformer 为何胜出” — willcb · 2026-10-16
- 陶哲轩警告 AGI 竞赛变味:OpenAI 论文轰炸冲垮初级研究项目 — Hesamation · 2026-10-16