Auto-RecSys: Harnessing Autonomous Research Agents for Industry-Scale Recommender System
Ming Li, Dai Li, Xuying Ning, Bo Sun, Rui Li, Yi Zhang, Silvia Gong, Xuan Cao, Rui Li, Cornelia Carapcea, Qunshu Zhang, Zhigang Wang, Yinglong Xia, Andy Wang
cs.CL
2026-09-10
Meta给工业级推荐模型做了能跑多天的研究智能体:并行实验、跨机器恢复、自然语言playbook记录翻车。31轮迭代里,运维修复从每轮4.0降到0.5。
自动科研智能体在小问题上已经能串起「假设–写代码–跑实验–改想法」。推荐模型不是这个节奏。一次训练要数小时到数天,配置堆在几千行上,作业会因为抢占、checkpoint坏了、依赖版本不对而挂。串行迭代等于停摆,研究人员大量时间花在执行而不是想法上。
对标表写得很清楚:小规模自动科研是分钟到小时的反馈、本地重跑;工业推荐是跨会话恢复、分布式并行、把失败当成常态。缺的不是再强一个会写论文的agent,是一套能活过一次多日GPU作业的harness。
Auto-RecSys把一次想法做成独立状态机:构思、实现、校验、训练、分析,训练失败另走调试。每个想法一份状态文件,互不踩踏,所以同一模型上可以并行多条、停在不同阶段、跑在不同开发机。
Harness三条。分布式异步执行,不假设同一会话或同一台机器能撑到训练结束。跨机器的中心内存存状态、playbook、轨迹日志,新会话先读全局登记再接上。认知与规程分开:markdown技能文件给LLM做规划和诊断,真正改状态、调API、写文件走确定性脚本,避免JSON状态被模型改坏。
双环自进化。执行环把轨迹蒸馏进每个模型的playbook:关键文件、校验命令、提交参数、死路和成功流水线。想法环把实验裁决写进追加日志,后面的构思用来去重、拼接半成功、砍掉反复失败的方向。playbook结构可以在模型之间一次性迁移,新模型第一轮仍要人带着填槽,不用从零发明目录。
人在回路有两档。交互模式在选题、代码审查、提交训练、看结果四处停;自主模式跳过检查点。playbook熟了再把自主模式打开。
没有报推荐指标本身的提升,主结果是人时和执行可靠性。手工把一个同等复杂度的想法从提案推到分析,要数小时到数天的盯盘。人在回路模式下,人只审选题和实现,其余交给系统,上手时间降到分钟级。同一份注意力从覆盖1个想法变成覆盖十几个,并行组合才跑得动。
在一个代表性模型上拆了31次独立迭代。稳定期(第5–20轮)重大运维修复从每轮4.0降到1.3。第21轮基线换成图编译+新embedding+任务适配器,提交栈全变,连续5轮都要修。第26–31轮回到每轮0.5次修复,6次里5次零修复。错误是类别性的:GPU代际不稳、资源标签、构建日期参数、输入命名、软件包版本,记进死路表后基本不再出现。后期唯一的修复是图编译里一次类型推断bug,先前经验挡不住。
行为层面:agent开会先读playbook,死路写成「不要做」,流水线写成步骤。最自主的一次连续970条日志、110次工具调用,零人工,自己定位共享算子库的融合核导入问题、重建依赖、重提作业。另一例是开发机租约到期导致实现后崩溃,别的机器从共享diff和轨迹接上,完成校验和提交。
给「agent做工业研究」划了一条和AutoResearch、AI Scientist不同的边界:瓶颈是多日作业的状态、恢复和制度记忆,不是假设生成的文采。playbook用自然语言,是因为31份会话记录里agent几乎不查数值元数据,它吃的是同一语言写成的规程。
能用的前提很硬:你已经有分布式训练、作业提交、指标监控,agent只是薄编排层。没有这套基础设施,这篇的harness无处挂载。它也没有证明agent找到了更好的推荐结构,只证明把实验跑完、少翻同类车,这件事可以自动化。
作者列了几条后续,等于承认缺口。没有代理小模型做想法预筛,想法环仍被全量训练时间卡住。playbook更新没有验证门,SkillOpt的消融里去掉这道门会掉点;死路因为对应真实失败,暂时没观察到回退。人机开关是二元的,还不会按置信度叫人。系统按单人管理一批模型来设计,团队共享队列和冲突还没做。
对外读者更关键的缺口是:论文没给在线AUC、NE或离线召回的对比,31轮里「阳性」想法在新基线上连续失效,只被写成元认知,没有模型质量表。可靠性曲线也只来自一个模型。把「减少人时」读成「推荐效果自动变好」,论文撑不住。