AURA: Agentic Diagnosis and Refinement for Production Recommender Systems at Scale
SungGeun Kim, Abhinav Narain, Daniel Nemirovsky
cs.IR, cs.AI, cs.LG
2026-09-15
迪士尼的AURA用智能体读约10万场生产会话,两平台量表从15/25和17/25升到23/25与24/25;类型偏好失配约占差评一半,但针对它的代码改动离线指标仍在±0.1%噪声里。
推荐系统的AUC、NDCG、覆盖率能告诉团队平均是好了还是坏了,说不清是儿童档出了恐怖片促销、体育用户在看回放,还是货架去重坏了。聚合指标还会把分群伤害平均掉。A/B能做因果,但贵、慢、有风险。工程师通常靠手写切片和看少量会话补这一截,规模上不去。
AURA(Agentic Understanding and Refinement of recommender Algorithms)把「读生产会话、归类失败、对着代码提假设、开PR」串成一条智能体流水线。论文来自华特迪士尼公司,投在RecSys 2026的电商生成式AI研讨班。
四段。选会话:随机或分层抽样、领域SQL、多个筛查智能体并行提队列,去重后多数表决。诊断:在数十万到百万场会话上做层级聚合。现行部署是六步漏斗:并行分类、跨批合并近义标签、按规模或安全规则抽样、每类一份结构化发现、核查、综述。假设与提案:对着排序模型代码、特征、训练管道和表结构写根因假说与改动建议。代码阶段今天停在工程师审过的PR;自动训练和A/B仍是规划中的虚线。
成本靠分流:海量分类用轻量模型(文中是Gemini 3 Flash),解释、核查、写代码留给前沿模型。每条LLM输出都做程序校验,会话ID必须在输入里出现,代码路径必须在仓库里存在。智能体只读分析数仓,改代码只在沙盒克隆,上线必须有具名工程师,驳回是一等公民结果。
两个流媒体平台。偏家庭的Platform A:96801场会话里18901场被上游裁判标成BAD,约19.5%。偏大众的Platform B:101594场里4154场BAD,约4.1%。两个比例不能直接比质量,因为提示按平台校准,B中途还改过。
三模型评审团(Claude Opus 4.6、GPT-5.5、Gemini 3.1 Pro)在约200场分层样本上,多数同意上游裁决的比例是A 96.0%(192/200)、B 87.6%(176/201)。诊断质量用25条二元量表,两名LLM法官看真实输出。六项架构修复加提示修订后,A从15/25到23/25,B从17/25到24/25,多数增益来自架构而不是措辞,例如严重度对齐失败是因为模板没把类别占比传进去。
锁死词表明显强于开放分类。B从30多个重叠标签收到13类封闭表,合并阶段只剩一次改名。A的12个涌现标签收到8类。一次代表运行里,A的类型偏好失配占BAD的48.3%(9135场),亚类型34.1%;B的类型失配46.0%(1911场)。安全相关的低计数类别靠覆盖规则留下。A还标出250场「裁判自己判错」。
针对B上1911场类型失配,补救阶段提出类型交叉特征和候选感知注意力。三天独立训练的离线指标相对生产克隆全在±0.1%:Click AUC最多+0.06%,NDCG@10在-0.01%到+0.05%。发现没有被这次改动证成。
端到端费用A 349.26美元、B 252.85美元,其中上游逐场裁判占91.9%和99.0%(约321与250美元)。AURA自己的聚合诊断A 28.28美元、B 2.64美元。基线B运行里,分类阶段曾填出904个伪造UUID,现在会按输入名单洗掉。
对已经有逐条LLM裁判的推荐团队,贵的是那一层;在上面做失败词表、根因假说和PR,边际成本很小。AURA把「平均指标没讲的故事」变成可核对的会话证据,并在两个目录、两套模型上共用核心代码、只换配置。它目前更像一个高吞吐诊断加建议系统。离线关卡拒绝了工程师可能先试的两个类型修复,这件事本身有价值:少烧一次线上A/B。
没有人工抽检诊断对错,也没有外部基线对比,作者把这两项列为未来工作。闭环训练和A/B仍在工程师关卡之后。离线修复未动诊断队列上的排序。量表和裁判都是LLM,Gemini还同时出现在上游和下游,可能有自我偏好。严重度按场次占比分层,不是单场伤害。Platform A的标签可重叠,百分比加总会超过100%。「可迁移到电商」只给了配置对照表,没有零售数据。