斯坦福提出Hinted Scaling Laws:小模型零分也能外推大模型成绩
heghbalz · x · 2026-11-03
斯坦福团队(Percy Liang、Tatsunori Hashimoto 等)发布 arXiv 论文《Hinted Scaling Laws》,解决 scaling law 外推在基准准确率上的失效问题:
- 问题:用小模型跑外推预测大模型下游准确率时,小模型在难基准上得分近零,没有趋势可外推
- 方法:引入 hinted scaling laws——用特权信息(截断、掩码、logit 混合)把基准变成难度连续的「提示版本」,让小模型得分高于零,准确率随提示强度平滑、可预测地上升
- 效果:在 Delphi 预训练阶梯上,仅用 ≤10^20 FLOPs 模型拟合即可预测 10^23 FLOP 模型的 GSM8K 准确率(25.9%)误差 3 个百分点以内;传统 scaling law 同等数据下低估 13 个百分点。跨 GSM8K/AIME/HLE,中位预测误差从 21 个百分点降到 4.3
- 附带收益:提示拉开模型间差距,单个提示 rollout 的排名精度相当于五个无提示 rollout
代码与数据已开源(github.com/tatsu-lab/hinted-scaling-laws)。
「研究」频道最新
- 从业者吐槽：AI 趋势论文大多 24 小时内过气，已不再看 — kfountou · 2026-11-03
- UIST 2026 收稿 1259 篇增 33%，录取率跌破 20% 至 19.9% — plopesresearch · 2026-11-03
- 芝加哥大学推出 RingIO 戒指：触摸作输入，电刺激作输出 — plopesresearch · 2026-11-03
- 《量子几何、矩阵理论与引力》：Steinacker 新书分享 — FrnkNlsn · 2026-11-03
- Sebastian Raschka 盘点 10 月开源 LLM:一个月 10 种新架构 — rasbt · 2026-11-03
- TUM 用层级误差建模与 Fisher 统计改进 SVD 低秩压缩 LLM — TUM · 2026-11-03