UK AISI 论文：固定预算评测低估前沿模型，放开推理算力成绩大增
evijit · x · 2026-09-23
AI 安全研究所（AISI）联合 EvalEval 团队发布新论文《How Inference Compute Shapes Frontier LLM Evaluation》，并以 Eval Cards 形式公开评测方法、数据与完整对话记录（HF 上全部数据开源）。
核心发现：
- 评测正转向依赖长轨迹、工具使用与迭代解题的更难任务，模型成绩对测试时算力（inference compute）高度敏感
- 对多达 12 个前沿模型在 7 个高难 benchmark（软件工程、数学、医学、网络安全，含 FrontierMath、Humanity's Last Exam、TerminalBench）上测试三种推理扩展手段：更大 token 预算、上下文压缩、允许重复提交
- 更大 token 预算在多个领域显著提升成绩；固定预算评测会越来越低估前沿模型的真实能力——新模型在大预算下能解锁更难任务且解得更稳
- 不同 benchmark 受益的扩展方式不同：重复提交普遍有效，但更大 token 预算的价值因任务而异
结论对评测方法论影响重大：低分可能反映评测设置而非模型能力，发布评测结果时应报告算力预算。
所属事件:英国 AISI 联手 EvalEval 推出 Eval Cards 开放评测(5 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12