亚马逊论文:弱LLM评审员会拖垮搜索,收益仅0.005 AUC
rohanpaul_ai · x · 2026-11-18
LLM critic 可能帮倒忙
亚马逊与马萨诸塞大学的新论文发现:在 AutoML 搜索循环中加入 LLM critic(读取历史结果、建议下一步尝试什么),收益极小、风险不小。
实验设计
- 在固定的 96 个 pipeline 配置池上,对比「有 critic」与「无 critic」的表格模型搜索;
- 随机犯错的 critic 几乎无害,因为搜索循环会保留最优结果;但持续指向错误方向的建议会浪费尝试次数。
关键结果
- Llama-3.1-8B 做 critic 时,8 个数据集中有 7 个低于无 critic 基线,最多损失 0.245 AUC;
- 即使是理想 critic,收益也至多约 0.005 AUC;
- 当配置池扩大到 250 个、轮数到 20 轮时,伤害大部分消失。
结论
在信任 LLM critic(哪怕是大模型)之前,先用同等预算跑一次不带它的对照实验,若表现更差就直接去掉。团队普遍只验证 critic 是否有帮助,很少检查它是否造成伤害。
「编程与Agent」频道最新
- Cognition 发布 Devin Bots:按目标指标自治数周领导 agent 团队 — marvinvonhagen · 2026-11-18
- FastMCP 4.2 上线 Skills over MCP:拖个技能文件夹秒变 MCP 服务器 — HanchungLee · 2026-11-18
- OpenAI 内部秘密:工程师用 Astra for Law 写 PRD 和设计文档 — sherwinwu · 2026-11-18
- 用 START-HERE.md 给 Agent 当导航地图:5 个 Hermes 记忆技巧 — tomcrawshaw01 · 2026-11-18
- 一张画变 30 米行走机器人:AnyMachine 用 agent 造出 160 部件机械 rig — bennash · 2026-11-18
- AI『公司』跑 1.5 个月只压缩 6 次,论文称基准任务对 compaction 异常友好 — maksym_andr · 2026-11-18