亚马逊论文:弱LLM评审员会拖垮搜索,收益仅0.005 AUC

rohanpaul_ai · x · 2026-11-18

LLM critic 可能帮倒忙

亚马逊与马萨诸塞大学的新论文发现:在 AutoML 搜索循环中加入 LLM critic(读取历史结果、建议下一步尝试什么),收益极小、风险不小。

实验设计

关键结果

结论

在信任 LLM critic(哪怕是大模型)之前,先用同等预算跑一次不带它的对照实验,若表现更差就直接去掉。团队普遍只验证 critic 是否有帮助,很少检查它是否造成伤害。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →