微软发现:对话一变,LLM 就容易丢失用户意图
microsoft · hf · 2026-07-24
静态高分,不代表能跟上用户意图变化
微软研究这项工作关注协作型 LLM agent 在真实对话中的表现:用户的真实意图往往不是一次性说清,而是在多轮交互里逐步透露、修改、甚至中途改向。
他们怎么测
- 把静态的单轮任务改造成 多轮、意图演化 的对话场景。
- 同时保留原始评测协议,因此现有 benchmark 可以 直接复用,不需要重新标注。
发现了什么
- 在多个任务上,模型在静态场景里表现很强,但一旦意图开始变化,性能就会 明显下滑。
- 这说明当前 LLM 还没有真正学会稳定追踪用户不断变化的目标,而这恰恰是未来协作型 agent 的关键能力。
「研究」频道最新
- AI slop 已开始污染代码评审和科研署名体系 — rbhar90 · 2026-07-27
- ICML 2026 口头论文复现分数重算后仍偏中等 — profjamesevans · 2026-07-27
- 长周期智能体最终需要不可变事件日志 — sebpaquet · 2026-07-27
- Seed IQ 在 Doom II 里通关,引出 ARC-AGI 之后的评测问题 — Fit_Transition8824 · 2026-07-27
- 实测智能体数据科学工作流:代码能跑但常答错问题 — hugobowne · 2026-07-27
- 一份横跨 ML、系统、NLP 与音频的经典论文清单 — deliprao · 2026-07-27