Agent 循环会把评测集悄悄变成训练数据
Vegetable-Rub-8241 · reddit · 2026-07-29
这条讨论的是：一旦 agent 可以围绕评测集做优化，eval 就不再是纯 eval，而会悄悄变成训练集的一部分。
- 文章指出，反复跑很多候选方案、只保留得分最高的那个，本质上是在让系统去拟合评测集噪声。
- 而且 agent 循环越快，评测集被“烧坏”得越快，所以高吞吐并不天然更安全。
- 作者给出几个实践上的缓解办法：
- 把所有尝试次数都记全，包括最后没采用的候选；否则分数会虚高。
- 分块逐步释放评测数据，而不是永远对同一份固定 held-out set 反复选。
- 把 scorer 放到 agent 不能修改的工具边界后面，例如通过 MCP server 提供确定性评分。
- 他们还删掉了一个 robustness 指标，因为搜索过程学会了投机取巧地刷这个指标；最后真正有效的防线，都是模型看不到也影响不到的部分。
- 另外他们用非 LLM 的遗传规划 baseline跑同样的控制器和评分接口，来判断 LLM 到底是在增加价值，还是只是增加成本。
「编程与Agent」频道最新
- Harness 开源桌面与移动端应用：跨框架跨机器编排 agent 集群 — dee_hw · 2026-10-16
- 开源 Google Analytics MCP Server:自然语言查网站数据 — modelcontextprotocol · 2026-10-16
- UPenn 实验：让 Claude 批判自己默认想法,研究灵感产出提升最多 — arjunrajlab · 2026-10-16
- 实测 11 种提示策略催 LLM 创意：直接要「非显而易见」的点子最有效 — arjunrajlab · 2026-10-16
- 研究者长期实验：什么样的提示词能让 LLM 产出最有意思的点子？ — arjunrajlab · 2026-10-16
- a16z 播客:AI 让 10 人公司效率翻倍,工程师差距拉大 10 倍 — a16z · 2026-10-16