Meta 论文:MLE Agent 在生产级排序系统跑 1097 次实验,采纳率 29.6%

dair_ai · x · 2026-11-19

Meta 发表论文《MLE Agents: Autonomous ML Engineering in Large-scale Recommendation Systems》(NeurIPS 2026 Workshop),用大规模 A/B 测试验证 LLM agent 能否在生产级搜索排序器上做真正的 ML 工程。

做法:agent 以 human-on-the-loop 模式自主提出模型改动、写代码实现、启动训练、读离线评估并决定保留与否;工程师只掌控目标函数、搜索方向和最终审核。

结果:一轮 campaign 完成 1097 次实验、采纳 325 次(29.6% 采纳率,早期 campaign 为 15.6%);最优模型在大型 A/B 测试中将搜索量提升 0.23%。部分被采纳的改动是团队从未尝试过、业界文献也认为不适用于该技术栈的架构方案——说明 agent 能探索人类直觉覆盖不到的设计空间。

三大难点与对策

核心结论:harness(围绕模型的循环设计)与底层模型同样关键——仅靠更强的模型并不够。

所属事件:Meta 发布 MLE Agent:千次实验自动优化搜索排序(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →