KDD 论文:8B LLM 批评家拖累 AutoML 搜索,最多损失 0.245 AUC
rohanpaul_ai · x · 2026-11-18
Amazon 与麻省大学合作的 KDD 2027 论文《The Critic Can Hurt》首次系统性审计了 LLM 批评家(critic)在 agentic AutoML 搜索中的负面作用。
核心发现:
- 通过四臂对照实验隔离 critic 的边际效应:朴素的 8B critic 在 8 个表格数据集中的 7 个上,把搜索效果拖到低于无 critic 的随机搜索基线,最差损失 0.245 AUC;而收益上限仅约 0.005 AUC。
- 故障注入分析揭示了机理:在 best-so-far 搜索下,非方向性错误几乎零成本,而方向性错误会消耗有限的搜索机会;理想化有效样本计算给出必要条件 q(m-1) > β,但不是部署保证。
- 更强的 critic 能减轻损失,但不存在通用的能力阈值;一个简单的可观测验证门控和学习式检测器可以降低实际损失,但都不保证保住全预算的无 critic 基线。
作者将发布 CRITFAULT,据称是首个检测 AutoML 中有害 critic 反馈的 benchmark。结论:critic 不是免费午餐——能力或验证不足时,先审计再信任,且要加门控。
「编程与Agent」频道最新
- Cognition 发布 Devin Bots:按目标指标自治数周领导 agent 团队 — marvinvonhagen · 2026-11-18
- FastMCP 4.2 上线 Skills over MCP:拖个技能文件夹秒变 MCP 服务器 — HanchungLee · 2026-11-18
- 亚马逊论文:弱LLM评审员会拖垮搜索,收益仅0.005 AUC — rohanpaul_ai · 2026-11-18
- OpenAI 内部秘密:工程师用 Astra for Law 写 PRD 和设计文档 — sherwinwu · 2026-11-18
- 用 START-HERE.md 给 Agent 当导航地图:5 个 Hermes 记忆技巧 — tomcrawshaw01 · 2026-11-18
- 一张画变 30 米行走机器人:AnyMachine 用 agent 造出 160 部件机械 rig — bennash · 2026-11-18