斯坦福 Hinted Scaling Laws：以 1/5600 算力预测 GSM8K 成绩
斯坦福团队发布 arXiv 论文《Hinted Scaling Laws》，提出在极低算力下预测模型基准最终准确率的新方法。论文由 @suzeva 团队主导，rckpudi 与 Luke Bailey 共同负责，合作者包括 Percy Liang、Tatsunori Hashimoto、John Duchi 等，项目与 Delphi 相关。rckpudi 本人宣布这是其博士期间的最后一篇论文。Hashimoto 在转发中指出，LM 安全与高级能力缺乏 scaling law、能力提升难以度量，与其把模型越做越大，不如把评测「缩小」。
已确认
- 问题背景：传统 scaling law 外推在基准准确率上失效——小模型在完整基准上得分为零，无法据此外推。
- 核心做法：把一个 benchmark（如 GSM8K）改造成一系列带提示（hint）的更简单版本，联合建模计算量 scale C 与提示等级 H，即可从在原始基准（H=0）上得分为零的模型外推出其最终成绩。
- 结果：相比直接跑完整基准，算力节省 5600 倍，预测误差在 3 分以内。
为什么重要
- 评测大模型在完整基准上的表现通常耗资巨大，此方法让研究者能用极小算力预算提前预测模型最终成绩，对降低评测成本、指导训练决策有直接价值。
2026-11-03 ~ 2026-11-04 · 7 条相关
一手来源
- 博士压轴论文：用带提示的降级版 benchmark，以 1/5600 算力预测 GSM8K 成绩（误差 3 分内） — kenziyuliu ·
- 斯坦福提出Hinted Scaling Laws:小模型零分也能外推大模型成绩 — heghbalz ·
- 【源头】斯坦福提出Hinted Scaling Laws:小模型零分也能外推大模型成绩 — heghbalz · 2026-11-03
- 斯坦福 Hinted Scaling Laws：省 5600 倍算力预测 GSM8K 成绩 — StanfordAILab · 2026-11-04
- 【源头】博士压轴论文：用带提示的降级版 benchmark，以 1/5600 算力预测 GSM8K 成绩（误差 3 分内） — kenziyuliu · 2026-11-04
- 新方法从零分模型预测基准成绩:算力省 5600 倍,误差 3 分内 — kenziyuliu · 2026-11-04
- 用 5600 分之一算力预测 GSM8K 成绩:零分模型也能外推基准表现 — josh_wills · 2026-11-04
- Stanford 团队用 1/5600 算力预测 GSM8K 准确率，误差仅 3 分内 — stanfordnlp · 2026-11-04
- 斯坦福团队提出 Hint 缩放法,算力省 5600 倍预测 GSM8K 成绩 — stanfordnlp · 2026-11-04