MINTEval 入选 NeurIPS:LLM agent 难跟上持续变化的环境
EliasEskin · x · 2026-10-02
MINTEval 评测基准被 NeurIPS 2026 接收,考察 LLM agent 与记忆系统在长程、持续变化环境(Wikipedia 页面、Git 仓库等)中的表现。基准特征:
- 平均 86 次上下文更新与新旧信息干扰,5 类难题(含长程回溯、跨多处目标推理)
- 4 个真实领域:状态追踪、多轮对话、Wikipedia 修订、GitHub 提交
- 平均 13.88 万 token/实例(最高 180 万),人工验证 QA 准确率 95.6%
结论:模型普遍难以追踪变化、召回精确细节、整合相互冲突的更新。模型常混淆新旧信息,记忆系统倾向插入冗余条目,检索经常无法恢复正确信息,根源在于检索与记忆构建能力的局限。
「编程与Agent」频道最新
- 编码 agent 缓存撑爆硬盘,Plonge 一键安全清理帮 Mac 找回 40GB — JordanMorgan10 · 2026-11-16
- Teknium 提醒:勿用 900k 版 GPT 模型,272k 上下文后额外计费 — Teknium · 2026-11-16
- ChatGPT 商业 agent 实机首秀,agent builder 同步亮相 — gaganghotra_ · 2026-11-16
- Scenario 免费上线 AI 创作者学院:17 门课 90 课时覆盖图视音 3D — smtabatabaie · 2026-11-16
- 开源 AI 工程课自带 Agent 导师:装进 Claude Code 就能一对一授课 — ghumare64 · 2026-11-16
- 让 Claude 把自己装进你的 artifact,用户用量算各自的 — TawohAwa · 2026-11-16