东北大学发布 WMIP 探针:LLM 累积状态追踪能力严重依赖输出协议
Dengzhe Hou · hf · 2026-11-12
东北大学等机构团队发布 WMIP,一个受工作记忆启发的可编程探针,用于测试 LLM 的累积状态追踪(cumulative state tracking)能力。
- 测试设计:要求模型在单个 prompt 内、不写出中间状态的情况下追踪 3 到 100 次连续更新,支持最终态、中间态或多目标查询,答案由程序计算保证正确性。
- 关键发现:模型在该任务上的表现严重依赖输出协议——现有测试(如 Minerva 允许 4096 输出 token)允许模型写出操作步骤,从而绕过纯状态追踪需求;不同基准对「写步数」的约束不同,可能并未真正测到这一能力。
论文指出 LLM 虽然单步算术很强,但跨多次更新的累积状态追踪仍是明显短板,且已有基准的结论受评测协议影响很大。
「模型」频道最新
- Tether 发布 0.8B 手机端 AI agent BotPsy，工具调用超 Qwen3.5-2B — mawcopolow · 2026-11-12
- Grok 4.8 被曝悄然灰度推送，部分 Grok Bot 用户已用上 — mark_k · 2026-11-12
- Seroter 每日阅读清单：Gemini 决策模型、Agent 记忆组件与企业 AI 现代化困境 — rseroter · 2026-11-12
- 博主实测后弃用 Fable 5.2:再聪明也受不了用第三人称谈论你 — PawelHuryn · 2026-11-12
- 前沿模型读生物医学影像近于瞎猜，小模型反便宜280倍 — gklambauer · 2026-11-12
- GitHub 现身 qwen4exp 提交，Qwen4 开发迹象被社区捕获 — kinetic_energy28 · 2026-11-12