StateBench 追加实验：Hybrid 与 Gated DeltaNet 接近满分，Transformer 随长度退化
allen_ai · x · 2026-11-04
Allen AI 为排除失败源于预训练而非架构，直接在 StateBench 上训练 LLM 再在更长输入上评测。结果显示：Hybrid 架构与 Gated DeltaNet 在前三个难度层级接近满分，而 Transformer 随长度退化、无法解决 general finite 层级。说明状态追踪失败主要是架构问题而非数据问题。
所属事件:Ai2 发布 StateBench：前沿模型长文状态追踪跌破 13%(17 条相关)→
「研究」频道最新
- Xudong Sun 获 SIGOPS Dennis M. Ritchie 博士论文奖荣誉提名 — LingmingZhang · 2026-11-04
- 首例人体试验：单碱基基因编辑成功治疗遗传性肝病 — theimposingshadow · 2026-11-04
- 15 岁开发者自研注意力内核：32k 上下文零 OOM，快 11 倍 — vankownlaw · 2026-11-04
- 博士压轴论文：用带提示的降级版 benchmark，以 1/5600 算力预测 GSM8K 成绩（误差 3 分内） — kenziyuliu · 2026-11-04
- Agent 跑 54 次过 35 次，95% 置信区间却宽达 44%–83%，该怎么报？ — cneuralnetwork · 2026-11-04
- 形式化方法创业公司 Genproof 宣称找出 300+ 个隐藏十年的开源 Bug — prasenx · 2026-11-04