Allen AI 新基准：面向状态跟踪任务的长上下文评测
lambdaviking · x · 2026-11-04
作者在回复中澄清：该 benchmark 是一个类似 RULER 的长上下文评测，但针对状态跟踪任务——要求模型在不产出推理 token 的情况下，跨大量输入求解一个确定性合成任务。由于任务完全确定(忽略硬件非确定性)，因此不报告 oracle-max/pass@k 类指标。
所属事件:Ai2 发布 StateBench：前沿模型状态追踪跌破 13%(17 条相关)→
「研究」频道最新
- 把漏洞研究看成拓扑问题：跨审计复用局部证明 — dyn___ · 2026-11-04
- 未来 agent 将自治操作自身权重与记忆，但缺协调策略研究 — sarahcat21 · 2026-11-04
- 手写 10 万参数模型权重识别假法律引用，效果超训练 — AaronBergman18 · 2026-11-04
- 斯坦福复检 50 项知名 LLM 结论:44% 已失效,中位寿命 14.7 个月 — heyshrutimishra · 2026-11-04
- 梯度封印防遗忘学习失效：让开源模型发布后也难被微调出危险能力 — burkov · 2026-11-04
- 新方法从零分模型预测基准成绩:算力省 5600 倍,误差 3 分内 — kenziyuliu · 2026-11-04