Agent 循环会把评测集悄悄变成训练数据
Vegetable-Rub-8241 · reddit · 2026-07-29
这条讨论的是：一旦 agent 可以围绕评测集做优化，eval 就不再是纯 eval，而会悄悄变成训练集的一部分。
- 文章指出，反复跑很多候选方案、只保留得分最高的那个，本质上是在让系统去拟合评测集噪声。
- 而且 agent 循环越快，评测集被“烧坏”得越快，所以高吞吐并不天然更安全。
- 作者给出几个实践上的缓解办法：
- 把所有尝试次数都记全，包括最后没采用的候选；否则分数会虚高。
- 分块逐步释放评测数据，而不是永远对同一份固定 held-out set 反复选。
- 把 scorer 放到 agent 不能修改的工具边界后面，例如通过 MCP server 提供确定性评分。
- 他们还删掉了一个 robustness 指标，因为搜索过程学会了投机取巧地刷这个指标；最后真正有效的防线，都是模型看不到也影响不到的部分。
- 另外他们用非 LLM 的遗传规划 baseline跑同样的控制器和评分接口，来判断 LLM 到底是在增加价值，还是只是增加成本。
「编程与Agent」频道最新
- TopoGR 用 Hamming 几何保住生成式推荐的语义 ID 拓扑 — _reachsumit · 2026-07-29
- Grevo 把语义 ID 分配改造成可进化变量 — _reachsumit · 2026-07-29
- 一图看懂 10 种 AI Agent 架构与组合方式 — Obijuan_cube · 2026-07-29
- 现代AI智能体技术栈：从规划到人机协同的完整分层 — goyalshaliniuk · 2026-07-29
- Agentic RAG 把检索生成变成规划验证闭环 — goyalshaliniuk · 2026-07-29
- 生产级 AI 系统往往是规划、记忆、工具的混合体 — goyalshaliniuk · 2026-07-29