斯坦福 Hinted Scaling Laws:预测大模型成绩误差从 21% 降至 4.3%
burny_tech · x · 2026-11-09
斯坦福团队(含 Percy Liang、John Duchi、Tatsunori Hashimoto 等)提出 Hinted Scaling Laws,解决小模型在难基准上得分近零、无法外推预测大模型表现的经典难题。
- 方法:用「提示」把基准改造成难度连续的简单版本(如提供部分解题步骤),让小模型得分高于零,从而得到可外推的趋势
- 精度:在 Delphi 预训练阶梯上,仅用 ≤10^20 FLOPs 训练的模型拟合,即可把 10^23 FLOP 模型的 GSM8K 成绩(25.9%)预测到 3 个百分点以内;传统 scaling law 同样条件下低估 13 个百分点
- 整体:在 GSM8K、AIME、HLE 上,预测中位误差从 21 个百分点降至 4.3
- 附带收益:提示可拉大模型间差距、保持排序,单次提示推理的排序能力相当于五次无提示推理,大幅降低评测成本
作者认为 hinting 是提升下游 scaling law 准确性并降低成本的通用原语。
「研究」频道最新
- 作者自曝失误：METR 报告公开版对 AI R&D 加速判定表述不清 — ShakeelHashim · 2026-11-09
- 哲学家挑战「大脑即计算机」：意识源于脑干而非皮层 — AnnaCiaunica · 2026-11-09
- 回应 Sutton 之争：软归纳偏置加上规模化反而更强 — irinarish · 2026-11-09
- CSProfKGD 开放 24 个交互式计算机视觉可视化合集 — CSProfKGD · 2026-11-09
- 每日可视化:Hough Transform 直线检测的投票几何 — CSProfKGD · 2026-11-09
- Brian Armstrong 倡议科研像开源:每个实验一个可复现的 repo — alishbaimran_ · 2026-11-09