ETH 论文:动态分配评测预算,小预算也能排出与 10 倍预算一致的模型榜单
zouharvi · x · 2026-10-26
作者 vilém zouhar 等人在 EMNLP 展示的工作，解决一个评测痛点：给定 N 个模型，如何低成本找出 top-3？逐一全量评测代价极高。
- 核心思路：均匀分配评测预算会浪费在无需区分的弱模型上；应动态决定「下一个评测哪个模型、评多少条」。
- 方法族：Uniform 基线、按 rank 权重优先采样头部模型（Sampling rank）、混淆最小化（优先评测结果不确定的模型对）、Upper confidence bound 平衡探索-利用、Successive rejects 分阶段淘汰最差模型、Greedy oracle。
- 理论结果：按 √nm 分配采样量可最优最小化加权排名不确定性；评测分配问题是 NP-hard（等价 0-1 Knapsack）。
- 效果：动态分配简单且有效，可在评测预算仅为 1/10 时达到与全量评测一致的排名（Kendall τ），已在 WMT26 大规模使用。
- 注意点：方法要求评测题目排序无偏，可通过估计缺失值做偏差校正。
「研究」频道最新
- 开源 GNSS 库 libgnss++ 实测:3D 城市模型还原高楼间 GPS 漂移 — rsasaki0109 · 2026-10-26
- 伯克利用扩散模型生成 RL 策略权重,真机 G1 会跳舞旋转踢 — FinanceYF5 · 2026-10-26
- 研究员提醒：不核查评测本身，你只是在拟合榜单偏差与噪声 — antoine_chaffin · 2026-10-26
- Judea Pearl 转发 Oregon State 招收因果推断×AI 方向 AI 博士生 — yudapearl · 2026-10-26
- davidad 深入讨论「动力系统吸引子结构功能主义」理论框架 — davidad · 2026-10-26
- Sakana AI 东京 RSI 研讨会：AI Scientist 登 Nature 后现场谈递归自我改进 — RobertTLange · 2026-10-26