新方法从零分模型预测基准成绩:算力省 5600 倍,误差 3 分内
kenziyuliu · x · 2026-11-04
一项博士毕业论文(作者 rckpudi,与 @suzeva、Luke Bailey 合作)提出通过把 benchmark 改造成一系列带提示(hint)的简化版本,来预测模型在完整基准上的准确率。
核心做法与结果:
- 将 benchmark 拆成不同难度等级的 hinted 版本,对规模参数 C 和提示等级 H 进行联合建模
- 即使模型在原始基准上得零分,也能据此外推其真实能力
- 仅用约 1/5600 的计算量,即可将 GSM8K(H=0)的准确率预测误差控制在 3 分以内
作者还发布了讲解视频(Stanford Zoom 录制)和一条详细推文线程。对模型能力预测与评测方法设计有参考价值。
所属事件:斯坦福提出 Hinted Scaling Laws：低算力预测大模型基准成绩(4 条相关)→
「研究」频道最新
- CritPt v2 评分服务器上线，Artificial Analysis 重测全模型分数微涨 — ArtificialAnlys · 2026-11-04
- Vector与滑铁卢大学推Chrysalis:让学生「教AI」来完成作业 — VectorInst · 2026-11-04
- AAAI 2027 Neuro for AI & AI for Neuro 工作坊开启征稿,截止 2026 年 11 月 20 日 — naturecomputes · 2026-11-04
- 研究者呼吁：多模态 benchmark 默认应做盲过滤去污染 — cwolferesearch · 2026-11-04
- 新研究：分词器越大 multi-epoch regret 越高，小词表更抗重复训练 — SonglinYang4 · 2026-11-04
- Reddit 热议:有人声称 3-SAT 可在次指数时间内求解 — burny_tech · 2026-11-04