Stanford 团队用 1/5600 算力预测 GSM8K 准确率，误差仅 3 分内
stanfordnlp · x · 2026-11-04
Stanford NLP 转发了 suzeva 团队（Luke Bailey、rckpudi 共同负责）的新研究：能否从得分为零的模型预测 benchmark 最终准确率？
方法是把一个 benchmark 改造成一系列更简单的「带提示（hinted）」版本，然后联合建模算力规模 C 与提示层级 H 两个维度。结果显示，通过在高算力+强提示处拟合，可以外推预测原始 GSM8K（H=0）的准确率，误差在 3 分以内，而所用算力只有直接训练的 1/5600。
这是把 scaling law 从预训练延伸到后训练评估的端到端预测的一步，被 Stanford NLP 官方账号转发关注。
所属事件:斯坦福 Hinted Scaling Laws：以 1/5600 算力预测 GSM8K 成绩(7 条相关)→
「研究」频道最新
- 直接改权重胜过微调：π0.5 叠衣任务成功率达 75% — ZeeshanZiaML · 2026-11-04
- 新「4A」框架拆解 AI 治理：行动、访问、权威、分配四问分开谈 — Brighter-Side-News · 2026-11-04
- 斯坦福 RoboArchitect：代码模型自动改写机器人控制代码，成本不到 150 美元 — rohanpaul_ai · 2026-11-04
- UIST 2026 论文 LitPivot：帮你把被抢发的研究点子改得更酷 — IanArawjo · 2026-11-04
- Idol Turbo 蒸馏版上线：单图生成百万级 3D 高斯，5 步仅需 0.75 秒 — _akhaliq · 2026-11-04
- 从 OpenAI 造船翻车到哮喘误判:老 reward hacking 案例的评测自查清单 — ClickOk5811 · 2026-11-04