新研究：检索到的 Agent 技能可能正在悄悄拖累任务表现
dair_ai · x · 2026-09-03
一项针对 agent 技能检索的测量研究指出：聚合分数提升的技能，可能恰恰在伤害它实际触达的任务。
问题所在：常规对比方式是把「检索了技能的任务」与「没检索的任务」作比较，但这是不同任务，混淆了检索效果与「哪些任务触发检索」这两个因素。
提出的修正：论文设计了 Retrieval-Invoked Actual-Use Effect（检索实际使用效应）——同一任务跑两遍，一次开启技能、一次关闭，只统计 agent 真正检索了内容的任务，做成配对比较。
关键发现：
- 跨 17 个 LLM、在编程与数学任务上，模型常出现「聚合检索收益为正，同任务效应为负」
- 在 MBPP+ 上，多个系统层面看似有益的模型，恰恰在检索被触发的任务上表现变差
对任何维护 agent 技能库的人来说，这是一个值得警惕的评测方法论警示。
「编程与Agent」频道最新
- 先用设计系统再生成：一个避免 AI 前端「千篇一律」的实用方法 — dotey · 2026-10-21
- 给文档抽取加信任滑杆:102 条送人工就拦下 74 个错 — michellechen · 2026-10-21
- 开发者推出广告支持的免费编程助手 FreePi,挑战 20 美元月费订阅模式 — heyneighbor · 2026-10-21
- RedMonk:MCP/A2A 只验证发布者不担保安全,注册表成 AI agent 信任关键 — rseroter · 2026-10-21
- AI 跑长循环 600 个 PR：OpenClaw 前端从 Lit 迁到 Solid 2.0 — steipete · 2026-10-21
- 18 个 agent 协作写 Lisp 解释器,19 组运行观测数据开源上架 Hugging Face — strickvl · 2026-10-21