AI2 研究者披露正构建状态追踪长上下文评测基准
lambdaviking · x · 2026-11-04
lambdaviking（AI2 相关讨论中）说明团队正在构建一个类似 RULER 的长上下文评测基准，但专注于状态追踪（state tracking）任务：要求模型在无推理 token 的情况下，对输入求解确定性的合成任务。他指出 RULER 的部分子任务（如 niah-1、VT）虽涉及状态追踪，但他们的目标是按理论复杂度分层、干净地隔离不同层级的状态追踪能力。
所属事件:Ai2 发布 StateBench：前沿模型状态追踪跌破 13%(17 条相关)→
「研究」频道最新
- 把漏洞研究看成拓扑问题：跨审计复用局部证明 — dyn___ · 2026-11-04
- 未来 agent 将自治操作自身权重与记忆，但缺协调策略研究 — sarahcat21 · 2026-11-04
- 手写 10 万参数模型权重识别假法律引用，效果超训练 — AaronBergman18 · 2026-11-04
- 斯坦福复检 50 项知名 LLM 结论:44% 已失效,中位寿命 14.7 个月 — heyshrutimishra · 2026-11-04
- 梯度封印防遗忘学习失效：让开源模型发布后也难被微调出危险能力 — burkov · 2026-11-04
- 新方法从零分模型预测基准成绩:算力省 5600 倍,误差 3 分内 — kenziyuliu · 2026-11-04