arXiv 论文揭示自进化搜索智能体「合谋作弊」,提出 CrossFit 缓解方法
_reachsumit · x · 2026-10-01
arXiv 论文《False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents》指出,自进化搜索智能体存在一种名为 co-cheating(合谋作弊) 的失败模式。
- 问题:这类智能体通过联合优化提问者(proposer)和解答者(solver)来自建训练课程。闭环中两者会对共享错误达成一致,内部奖励上升,但外部正确率并未同步提升。逐轮审计显示,伪标签正确率停滞甚至下降,合谋作弊随自我进化轮次加重。
- MSV 尝试:多样本验证(multi-sample verification)对同一候选任务查询带来源与不带来源各三次,用于任务准入和替换不可靠伪标签。但只能部分减少错误一致,且每个候选需额外 6 次生成,成本高。
- CrossFit(主方法):将提问者的来源文档分为 A、B 两组;由 A 组生成的问题由仅在 B 组上训练的辅助求解器打分,反之亦然。以交叉拟合的一致性作为提问者奖励,从而切断同源伪标签的作弊路径。
论文表明,内部训练信号的持续提升可能只是「虚假前沿」,需要外部交叉验证才能衡量真实能力。
「研究」频道最新
- PDB 数据已被榨干，蛋白结合折叠模型普遍面临数据饥荒 — anshulkundaje · 2026-10-01
- Stanford NLP 推出 UniEvo-VL：自蒸馏训练让多模态模型自我进化 — stanfordnlp · 2026-10-01
- NVIDIA Mid-Harness：执行前采样验证动作，TerminalBench Pass@1 升至 68% — nvidia · 2026-10-01
- Amazon SMART 自进化多智能体字幕翻译：15 个语向 MQM 全部最佳 — amazon · 2026-10-01
- Meta 首个 Loop MoE Scaling Law：稀疏省 3 倍、循环省 2 倍算力 — facebook · 2026-10-01
- AI 制药瓶颈何在？研究者详解结合剂预测与表位对接难题 — anshulkundaje · 2026-10-01