Ai2 发布 StateBench:Gated DeltaNet 处理长序列状态追踪超训练长度 10 倍
allen_ai · x · 2026-11-04
Ai2 发布 StateBench,一个评测语言模型长文档状态追踪能力的基准。状态追踪是阅读代码(变量赋值)或跟随故事(物品转手、人物移动)的基础,不同问题的依赖链复杂度差异很大。
核心发现
- 在 StateBench 最难级别上,采用循环记忆机制的 Gated DeltaNet 能处理比训练时见过的序列长约 10 倍的输入。
- 新证明显示:即使特征值非负的 Gated DeltaNet,在定点精度含舍入的运算下也能求解某些周期性任务。
- Transformer 在长依赖链的困难状态追踪上有明确理论局限,这正是循环/混合架构(如 Gated DeltaNet)兴起的动机之一。
基准按状态追踪复杂度分级,可区分各架构在简单 vs 困难任务上的差异,数据集与博客均已开放下载,供研究者测试新模型并扩展状态追踪数据。
所属事件:Ai2 发布 StateBench：前沿模型长文状态追踪跌破 13%(8 条相关)→
「研究」频道最新
- DeepMind 研究员哈佛开讲：语言共现统计如何催生大模型表征几何 — yasamanbb · 2026-11-04
- Allen AI 新基准：面向状态跟踪任务的长上下文评测 — lambdaviking · 2026-11-04
- OOD 不确定性量化研究获 EMNLP UncertaiNLP 现场 Spotlight 奖 — PMinervini · 2026-11-04
- Meta 与 Duke 论文：奖励黑客可在多智能体间传播，Claude 与 Gemini 中招超七成 — rohanpaul_ai · 2026-11-04
- UT奥斯汀教授免费电子书新增Transformers章节，从零手搓并训练 — GeostatsGuy · 2026-11-04
- Intology 推出 Locus:自动化科研系统让 AI 模型自主适配专有数据 — anshulkundaje · 2026-11-04