Meta 提出 Skaling 定律:用十分之一算力预测性能
facebook · hf · 2026-08-10
Meta 研究团队提出了名为 Skaling 的广义缩放定律。现有的缩放定律通常假设模型大小与训练数据对损失的影响是独立的,这导致在数据稀缺或过度训练的极端情况下预测失效。
Skaling 通过引入一个交互指数来耦合模型容量与数据,将平均绝对百分比误差(MAPE)降低了 1.5 至 3 倍。结合低算力区域的稀疏网格策略,该方法仅需约十分之一的计算资源即可准确外推全网格性能,为下一代模型训练的算力预算分配提供了更高效的框架。
所属事件:Meta 提出 Skaling 定律:十分之一算力即可预测性能(3 条相关)→
「研究」频道最新
- 斯坦福刘博直播分享 SPIRAL/SPICE/SPADE:模型自设计环境实现递归自我改进 — _AndrewZhao · 2026-09-21
- LeCun 称推理非自回归搜索,遭同行反驳:Fable 并非如此运作 — paul_cal · 2026-09-21
- 研究者呼吁停办 ICLR 2027 以挽救顶会声誉 — hyhieu226 · 2026-09-21
- 开发者用 25M tokens 合成数据 LoRA 微调 Qwen3.5 4B,复刻 Jev — nato_nob · 2026-09-21
- CV 大佬 Jitendra Malik:机器人弃用 3D 结构是在浪费宝贵信号 — JitendraMalikCV · 2026-09-21
- 用数据集定义生物学的千禧年难题:表位解析结合体目录 — owl_posting · 2026-09-21