斯坦福团队提出 Hint 缩放法,算力省 5600 倍预测 GSM8K 成绩
stanfordnlp · x · 2026-11-04
斯坦福 Hashimoto 转发其团队的评测缩放研究:既然 LM 安全与高级能力缺乏 scaling law、能力提升难以度量,与其把模型越做越大,不如把评测「缩小」。
方法(由 @suzeva 团队,Luke Bailey 与 rckpudi 共同主导):把一个 benchmark 改造成一系列带提示(hint)的更简单版本,同时建模模型规模 C 和提示等级 H 两个缩放维度,即可从零分模型外推预测其在原始 benchmark 上的准确率。
结果:仅需约 1/5600 的计算量,即可将 GSM8K(H=0)的准确率预测误差控制在 3 个百分点以内。这为高级能力的评测与预测提供了一条低成本路径。
所属事件:斯坦福 Hinted Scaling Laws：以 1/5600 算力预测 GSM8K 成绩(7 条相关)→
「研究」频道最新
- CWE-Bench 开源上架 Hugging Face,号称最大规模网络安全评测 — mmitchell_ai · 2026-11-04
- FLoRe:用无机器人人类演示教人形机器人感知与施加力度 — HaozhiQ · 2026-11-04
- AgentTime 新发现：prompt 里写明 token 速度可提升 agent 时间预测 — maksym_andr · 2026-11-04
- NRGPT 论文：让 GPT 推理显式建模为能量面下降 — burkov · 2026-11-04
- Fireworks 活动现场讲解 EXL3 滑动窗口位共享量化技巧 — sophiamyang · 2026-11-04
- UCLA招人研究griefbot：访谈用AI模拟逝者的真实用户 — Interesting-Cat-7838 · 2026-11-04