Meta 论文 AutoRefine:用工作流结果自动校准 LLM 代码裁判,一致率 0.16 升至 0.51
omarsar0 · x · 2026-11-11
Meta 发表论文 AutoRefine,解决 LLM 代码裁判( judge )提示词随 agent 迭代而失效的问题。
- 问题:LLM judge 常作为代码变更的质量门禁,但 agent 一变,手写的 judge prompt 就过时;人工标注校准成本高且易过时
- 方法:开发工作流本身免费产出结果标签(测试通过与否、变更被合并或放弃),AutoRefine 用这些噪声标签循环重写 judge prompt;引入一个「知情的 teacher」,它能同时看到 judge 输入与真实结果,解释每个保留的标签,当 judge 可见信息无法解释结果时弃权
- 效果:在带执行 oracle 的留出集上,Scott's π 一致率从 0.36 升到 0.60;在故意翻 25% 标签的噪声实验中,teacher 以两倍于真实标签的比率剔除被翻的 fail 标签,把整体标签噪声从 25% 降到 20%;在 Meta 部署的 agent 上重校准后,judge 与 merge/abandon 结果的一致率从 0.16 升到 0.51
- 洞见:teacher 的弃权率可作为监控信号——弃权多说明 judge 需要更好的输入而非更好的 prompt;旧工作流的 diff 上旧 judge 反而更强,说明校准必须随 agent 演化持续进行
「编程与Agent」频道最新
- Obsidian 作者:别围着最新模型转,模型只是可替换零件 — dSebastien · 2026-11-11
- 开发者用 Copilot+Azure 一周搭出 dotnetconf 活动墙系统 — DanWahlin · 2026-11-11
- Claude Code 误删用户整个 ~/Library，文件夹空格成致命陷阱 — PrajwalTomar_ · 2026-11-11
- 实验演示：训练模型读取其他实例留下的 K/V 神经元语面包屑 — Sauers_ · 2026-11-11
- iMessage 变身万能 Agent:接 3000+ 工具,4 次调用花 $0.06 找到 760 个初创职位 — socialwithaayan · 2026-11-11
- 开发者让 10 条智能体车道用 CLI 互传消息，它们自发造出通知系统 — AIFlow_ML · 2026-11-11