Advancing Model Research in AgentX: Long-Horizon Autonomy for Industrial Recommender Systems
Shuang Yang, Zijie Zhuang, Changxin Lao, Pengbo Xu, Hanwen Xu, Yusheng Huang, Han Gao, Guanchen Wang, Tianbao Ma, Linxun Chen, Peilin Song, Xuming Wang, Chen Li, Fan Wu, Tao Wang, Zibo Zhao, Xiangyu Wu, An Liu, Fei Pan, Peng Jiang, Chen Yang, Zhaojie Liu, Wenwu Ou
cs.AI, cs.IR
2026-09-24
Research Agent写提案、Model Agent多轮改模型,约25天完成636次改模型实验,560次AUC超过业务基线。最近五次在线A/B含获客效率10%-15%、目标广告花费15%-20%、观看时长0.3%-0.8%。
工业推荐的模型研究不是做一次实验就结束。工程师看完结果,要决定是接着改、去查异常,还是换方向。Agent 已经能写代码、改结构,但「这一轮留下哪份实现、哪组数字、哪个未解问题,去驱动下一轮」仍然靠人。AgentX-Model 把这件事收进沙盒:业务输入和预测任务不许改,模型怎么用这些输入可以改,部署大门仍由人把。
更早的 AgentX 做过读论文出提案和跨论文组合。这篇把实验证据接回后续研究,让一次结果成为下一次的起点,而不是每次从零点菜单。
两套 Agent 分工。Research Agent 读论文、实验记录和业务反馈,写出带研究问题、起始实现、改动和评测设计的提案,再由独立上下文的 Auditor 审一遍。Model Agent 拿到批准提案后多轮改代码、训练、测量,中间更好的实现不会被后面的回退覆盖。底层语言模型是私有部署的 GLM-5.2;Model Agent 跑在 Claude Code 上,训练评测走内部 KML 平台。
持续研究被收成四种动作:
选下一题时,调度层按规则轮转动作类型,Research Agent 再在该类型里用已有证据构造具体实验;证据不够就推迟。比较成绩时分开三条参照:业务基线、直接父实验、路径上最强祖先。父实验变好但没超过历史最强,只算局部恢复。
约 25 天生产评估,636 次改模型实验里 560 次 AUC 超过对应业务基线。Diagnose 不计入这张增益表。
| 场景 | 基线 AUC | 最佳 AUC | 超基线 / 有效 |
| A | 0.773683 | 0.797352 | 500/527 (94.9%) |
| B | 0.815403 | 0.823145 | 21/29 (72.4%) |
| C | 0.816849 | 0.820246 | 20/33 (60.6%) |
| D | 0.809656 | 0.811432 | 19/47 (40.4%) |
这些比例不是实验成功率:许多 Follow-up 和 Composition 继承的实现已经高于业务基线。场景 A 里,77 个有完整可比祖先的 Follow-up 中 7 个超过所有祖先,120 个 Composition 中 5 个超过所有祖先。189 个多轮实验里,58.7% 在首个有效轮之后还能再涨,48.1% 的最后有效轮低于中间最好轮。所以必须把最好实现连同评测上下文留下来。
最近五次 Launch Review 的在线 A/B:获客效率 10%-15%,目标分群广告花费 15%-20% 和 5%-10%,观看时长 0.3%-0.8% 且 FLOPs 与参数约少 10%,日活 0.5%-1%。场景 A 一条校准路径上,训练统计量估计的乘性校正把测试集 |PCOC-1| 误差降了约 22.8%,AUC 仍高于业务基线。抽样 10 天里提案尝试 886 次、交付 262 份,中位耗时 33.6 分钟。
依赖感知的历史回放(473 个实验节点、6 个环境)比较调度策略:Agent 已经在分析候选并挑选具体实验时,更复杂的 bandit 或联合选择并没有稳定提高研究效率。固定动作轮转加 Agent 选候选仍是有效基线。
这是一份工业推荐里「agent 连续做模型研究」的运行报告,不是又一个单次 AutoML 打分。价值在于把 Reproduce / Follow-up / Composition / Diagnose 做成可交接的动作,并且强制保留每轮代码和测量,避免「最后一版」覆盖掉真正能用的中间结果。对已经有训练平台和业务基线的团队,可迁移的是这套提案-多轮调查-证据回灌的组织方式,不是某个具体网络结构。
沙盒不许改上游特征和预测任务,agent 找不到新的业务问题,只能在给定头上挤结构。超基线比例会被继承实现抬高,路径最强祖先才是更硬的尺子,而那上面 Follow-up 只有 9.1%、Composition 只有 4.2%。在线数字用粗区间,且只来自最近五次过审上线,不能外推到全部 636 次。场景 D 上论文 Reproduce 0/7 超基线,跨场景知识迁移 5/15,样本量小、时期不对齐。调度结论来自历史回放,只能在实际跑过的组合上给反馈。语言模型权重固定,进化发生在工具、指令和记忆,需人审。