Meta 论文:MLE Agent 在生产级排序系统跑 1097 次实验,采纳率 29.6%
dair_ai · x · 2026-11-19
Meta 发表论文《MLE Agents: Autonomous ML Engineering in Large-scale Recommendation Systems》(NeurIPS 2026 Workshop),用大规模 A/B 测试验证 LLM agent 能否在生产级搜索排序器上做真正的 ML 工程。
做法:agent 以 human-on-the-loop 模式自主提出模型改动、写代码实现、启动训练、读离线评估并决定保留与否;工程师只掌控目标函数、搜索方向和最终审核。
结果:一轮 campaign 完成 1097 次实验、采纳 325 次(29.6% 采纳率,早期 campaign 为 15.6%);最优模型在大型 A/B 测试中将搜索量提升 0.23%。部分被采纳的改动是团队从未尝试过、业界文献也认为不适用于该技术栈的架构方案——说明 agent 能探索人类直觉覆盖不到的设计空间。
三大难点与对策
- 每次实验耗时数小时 → 并行训练运行
- 离线指标与线上影响经常不一致 → 将目标校准到线上影响
- 早期收益后提升趋平 → 精心的 context engineering(含"什么没用"黑名单、严格输出格式、反过时规则)
核心结论:harness(围绕模型的循环设计)与底层模型同样关键——仅靠更强的模型并不够。
所属事件:Meta 发布 MLE Agent:千次实验自动优化搜索排序(2 条相关)→
「编程与Agent」频道最新
- Deepnote 推出共享应用:vibe-code 仪表盘告别单人 Claude Code 会话 — aakashgupta · 2026-11-19
- Kong 年跑 500 万亿 token 后推出 Volcano 自愈式 Agent 云 — EXM7777 · 2026-11-19
- 作者用 Dan Koe 内容体系训练 Grok 机器人:一个点子生成一周全网内容 — VibeMarketer_ · 2026-11-19
- Matt Pocock 提出 VECTOR 六步法:把任意任务交给 AI 的方法论 — mattpocockuk · 2026-11-19
- 工程师必懂的 11 个系统安全基础概念速览 — goyalshaliniuk · 2026-11-19
- 开源集成层 Nango 上线:一套 Auth 接入 1241 个 API 供 AI Agent 调用 — aftahi_ai · 2026-11-19