算力怎么花最值:68.7% 预算给最大模型,32 次调参给最小模型
karen_ullrich · x · 2026-10-29
同上线程分论点:好消息是小模型训练便宜,可据此跨规模高效分配算力。配图给出具体建议:在最便宜的规模做约 32 次调参 run(次小规模仅 1 次),而约 68.7% 的算力预算花在最大规模、最小的仅占 8.6%;另演示了拟合端点的同等误差对预测的影响远大于中段误差。团队在论文中给出完整分配建议。
所属事件:Meta/NYU 研究证实 4M 参数小模型仍服从 scaling law(5 条相关)→
「Infra」频道最新
- ComfyUI 工作流复现:光存 JSON 不够,还要记录这些 — Im_bored_rn69 · 2026-10-29
- Akamai 推出 Inference 与 Agent Sandbox 两项 AI 基础设施服务 — lucaolivari · 2026-10-29
- 512GB M5 Ultra 售价 2.23 万美元，12 月 3 日最早提货 — rez0__ · 2026-10-29
- Lumentum CEO：即便 AI 数据中心降温，光升级仍将驱动增长 — pstAsiatech · 2026-10-29
- nanoGPT 式速度纪录再破：30M 训练从 499 秒压到 22.9 秒 — RobertTLange · 2026-10-29
- 「我们做了个快 2 倍的 S3」推文泛滥,作者警告可靠性代价被隐藏 — HankYeomans · 2026-10-29