Meta 新研究改进缩放定律:外推误差降 3 倍,省 90% 算力
omarsar0 · x · 2026-08-11
Meta 发布了一项关于大模型缩放定律的改进研究。传统缩放定律假设模型大小和训练数据对损失的影响是独立的，而该研究提出了 Skaling law，通过单一的交互指数将模型容量与数据耦合起来。
- 精度提升：引入的新项使得在插值和外推场景下的平均绝对百分比误差降低了 1.5 到 3 倍。特别是在数据稀缺和严重过训练的场景下，修正效果最为显著。
- 成本优化：结合针对低算力运行的稀疏网格策略，该定律能以比均匀扫描少约 10 倍的算力来外推完整的算力网格。
- 实际意义：当前模型部署往往远超最佳算力点，这项能在小规模运行中拟合且保持高精度的新定律，将改变预训练算力预算的规划方式。
所属事件:Meta 提出 Skaling 定律：十分之一算力即可预测性能(3 条相关)→
「研究」频道最新
- 回归诊断实操：VIF 超过 10 说明共线性已在膨胀你的标准误 — mdancho84 · 2026-09-20
- 回归诊断实操：Cook's distance 轮廓线外的点先查再信结果 — mdancho84 · 2026-09-20
- 数据科学家必做的 6 项回归诊断检查，别再盲信模型 — mdancho84 · 2026-09-20
- EMNLP 论文：LM 改写让 75% 输出失真，更倾向把「可能」写成「是」 — sameer_ · 2026-09-20
- Pachter 再列 Nucleus 广告硬伤：身高 R² 巧合到三位小数、队列错配 — lpachter · 2026-09-20
- 生物学家拆穿 Nucleus：胚胎筛查提升 IQ 10.8 分的前提站不住脚 — lpachter · 2026-09-20