EMNLP 论文:17 个 LLM 检索技能后反而在原任务上变差
rohanpaul_ai · x · 2026-09-08
论文《Skill Following》提出新指标 RAE(Retrieval-Invoked Actual-Use Effect),专门测量 LLM agent 在真正触发技能检索的那些任务上,检索是否真的有帮助。
核心发现是一个评估悖论:
- 传统评估拿「检索了技能的任务」与「没检索的任务」整体对比,存在严重选择偏差,会高估工具使用能力。
- 作者对 17 个 LLM 在编程与数学领域实测,发现多个模型在 MBPP+ 上整体检索增益为正,但在实际触发检索的任务上表现反而变差(负 RAE)。
- 结论:聚合平均分会制造「会用工具」的假象,应改用同任务配对对比来衡量检索到答案这条链路的真实收益。
论文已被 EMNLP 2026 Findings 接收。
所属事件:多项研究揭示 Agent 技能检索的双刃剑效应(4 条相关)→
「编程与Agent」频道最新
- 开发者正训练「看门模型」：专门拦截提示注入与记忆投毒 — gnukeith · 2026-10-27
- 旧金山 Code Engineering 大会聚焦从编码 agent 到软件工厂 — LangChain · 2026-10-27
- 用 Claude Code 当 iPhone 取证器:挖出「已删」照片的 30 天隐藏副本 — alex_verem · 2026-10-27
- 用 Claude Code 审计 iPhone 备份，揪出被删照片的全部藏身处 — alex_verem · 2026-10-27
- Yuchen Jin：手机不是移动 IDE，而是 agent 舰队的控制台 — Yuchenj_UW · 2026-10-27
- FrontierCS 2 登陆 Kaggle：48 项任务让智能体复现 13 领域论文贡献 — MeganRisdal · 2026-10-27