用学生比喻读懂模型缩放定律
Ubunta · x · 2026-08-19
作者用学生做比喻解释模型缩放：
- 大脑大小（参数量）：像书架空间，决定能装多少知识，而非推理长度。MoE 将此区分开来。
- 书籍数量（数据量）：给学生的阅读材料。
- 思考时间（计算量）：每道题的作答时间。
- 导师（对齐）：辅助提升。
经济学视角：模型不只考一次试，而是运行数百万次。因此开源模型即使在收益递减点后仍继续训练，因为“一次昂贵，永久便宜”。近期模型表明，后训练是提升同一基础模型能力的关键。
「研究」频道最新
- Moderna 癌症疫苗结果积极，AI 在药物研发生命周期中如何定位 — anshulkundaje · 2026-08-20
- JointDiff一个模型双向打通核聚变实验与物理参数 — bravo_abad · 2026-08-20
- AntLing 开源 Ling-3.0 模型：WSM 合并替代 LR 衰减 — AcanthisittaOk1699 · 2026-08-19
- VGGT-Align：用场景几何不变量锚定解决长序列 3D 重建尺度漂移 — zhenjun_zhao · 2026-08-19
- SplatGuide：一份 3DGS 重建当三种先验，免位姿新视角合成达 SOTA — zhenjun_zhao · 2026-08-19
- UniQuery4R：单次编码整段视频，查询式解码统一 4D 场景重建 — zhenjun_zhao · 2026-08-19