论文揭示 agent 技能检索评测陷阱：整体变好，检索任务反而变差
rohanpaul_ai · x · 2026-09-08
一篇论文指出 skill-enabled agent 评测中的一个隐蔽失效模式：检索带来的整体提升可能掩盖检索任务本身的性能下降。
问题所在
- 现有评测多采用有缺陷的对比：比较「agent 选择检索技能的任务」与「未检索的任务」的得分。
- 但这两类任务可能本质不同。如果 agent 倾向在简单问题上检索技能，检索就会「看起来有用」——即使技能本身没起作用，甚至把答案变得更差。
解决方案：RAE
- 做法很简单：凡是发生检索的任务，都在无技能访问的条件下重跑同一任务，直接对比两次结果。
- 这样才能分离出技能检索在该任务上的真实因果贡献。
所属事件:多项研究揭示 Agent 技能检索的双刃剑效应(4 条相关)→
「研究」频道最新
- UC伯克利联合 NVIDIA 发布 AW-0:真实机器人操控成功率 71.1 分远超基线 — trevordarrell · 2026-10-27
- AW-0 机器人模型实测:RoboTwin 50 项任务成功率 80.8% 远超基线 — trevordarrell · 2026-10-27
- AW-0 用代码流改变世界模型预测:同一指令下精准选中目标物体 — trevordarrell · 2026-10-27
- AW-0 发布:代码+视频+动作三专家联合生成的智能体世界动作模型 — trevordarrell · 2026-10-27
- AW-0 训练配方:3000 小时演示蒸馏出 50 个可复用技能程序 — trevordarrell · 2026-10-27
- AW-0 世界动作模型发布：一个生成式模型同时管规划、预测与控制 — trevordarrell · 2026-10-27