StateBench 的 4 级难度设计:从记生日到追杯子换球
allen_ai · x · 2026-11-04
StateBench 将状态追踪拆成 4 个层级:r-trivial、aperiodic、soluble、general finite。难度从记住固定信息(如生日)到追踪被反复换位的杯子下的球等复杂状态变化,为定位模型失败点提供了梯度。
所属事件:Ai2 发布 StateBench:前沿模型长文状态追踪跌破 13%(17 条相关)→
「研究」频道最新
- 团队 2 天半烧 100 亿 token 打造全城级世界模型 Omniscience — Kuprel · 2026-11-04
- 伯克利团队提出 Data Inoculation:用 RL 在采数据时就提升质量 — berkeley_ai · 2026-11-04
- Map2Video:用地图和街景控制真实地点的 AI 视频生成 — ryosuzk · 2026-11-04
- Xudong Sun 获 SIGOPS Dennis M. Ritchie 博士论文奖荣誉提名 — LingmingZhang · 2026-11-04
- 首例人体试验:单碱基基因编辑成功治疗遗传性肝病 — theimposingshadow · 2026-11-04
- 15 岁开发者自研注意力内核:32k 上下文零 OOM,快 11 倍 — vankownlaw · 2026-11-04