Allen AI 新基准遭质疑:被指用 oracle-max 指标夸大随机任务成绩
ahatamiz1 · x · 2026-11-04
AI2(Allen Institute for AI)发布 StateBench 评测,称将 LLM 直接在该基准上训练后再测更长输入,发现混合架构与 Gated DeltaNets 在前三个难度级别接近满分,而 Transformer 随长度增加性能下降、无法求解 general finite 任务。
随后用户 @ahatamiz1 公开质疑其评测方法:是否使用 oracle-max 指标(N 次运行中任意一次成功即算通过)、是否为各基线做了正确的初始化,并称「AI2 过去是可信的名字,现在似乎不是了」。
- 质疑点:StateBench 任务随机性很强,oracle-max 式报告方式会系统性高估成绩。
- lambdaviking 回应称,该基准是完全确定性的(不计硬件非确定性),因此没有报告 oracle-max/pass@k 类指标。
- jowenpetty 进一步追问 oracle-max 的定义,ahatamiz1 解释其为「N 次运行任一成功即计成功」的口径。
所属事件:Ai2 发布 StateBench：前沿模型状态追踪跌破 13%(17 条相关)→
「模型」频道最新
- AI2 发布 StateBench：GPT-6 与 Claude Opus 5.5 长文本状态追踪最低仅 13% — OfirPress · 2026-11-04
- 「外科手术式编辑」难题：LLM 改法务条款总留下多余墨迹 — graceisford · 2026-11-04
- 让前沿模型开帆船互飙：Argon 夺冠，Opus 没跑完，Qwen 搁浅 — shekitup · 2026-11-04
- Domingos 曝 Gemini 承认若推理设计得当 CoT 和 RL 就是绕路 — pmddomingos · 2026-11-04
- Legora CTO 感叹:前沿模型能理解并直接修改权重 — garrytan · 2026-11-04
- 新架构 LoL 让模型在运行时重排自己的前向传播,像程序员一样组合基本组件 — micahgoldblum · 2026-11-04