Meta 提出 Skaling 定律:用十分之一算力预测性能

facebook · hf · 2026-08-10

Meta 研究团队提出了名为 Skaling 的广义缩放定律。现有的缩放定律通常假设模型大小与训练数据对损失的影响是独立的,这导致在数据稀缺或过度训练的极端情况下预测失效。

Skaling 通过引入一个交互指数来耦合模型容量与数据,将平均绝对百分比误差(MAPE)降低了 1.5 至 3 倍。结合低算力区域的稀疏网格策略,该方法仅需约十分之一的计算资源即可准确外推全网格性能,为下一代模型训练的算力预算分配提供了更高效的框架。

所属事件:Meta 提出 Skaling 定律:十分之一算力即可预测性能(3 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →