X-split Argus: Learning Reusable History Tokens for Efficient CTR Prediction
Alexander Ploshkin, Nikita Stepanov, Alexey Pismenny, Viacheslav Ovchinnikov, Nikolay Savushkin
cs.IR
2026-11-18
用户长历史离线压成可复用 token,在线只编码近期行为,A/B 转化价值升 4.65%、点击升 2.96%,GPU 多 15%。
CTR 预估要同时抓住用户的长期偏好和即时意图,序列建模这条线(HSTU、ARGUS 一代)反复证明历史越长效果越好。麻烦在服务端:一次排序请求要给一批候选广告打分,若每个候选都对超长历史重新算注意力,GPU 算力和显存带宽都扛不住,几百毫秒的延迟预算更不允许;而且历史编码一旦依赖候选,不同广告之间就无法复用计算。
已有系统各解了一块:TransAct、LLaTTE 把预计算用户表示和在线近期行为拆开;VISTA 学可复用的历史摘要 token;TM20K 用保留全历史的 teacher 蒸馏压缩学生。这篇把问题钉得很具体:历史压成一组与候选无关的少量 token 后,teacher 从未压缩历史拿到的收益还能保住多少?答案在一个真实 RTB 系统里量化给出。
X-split ARGUS 把用户历史拆成两路。
训练端到端,监督两路:观测点击的 autoregressive BCE 损失,一次共享序列前向覆盖所有预测位置;再加蒸馏,一个更大的 teacher 用未压缩全历史给每个候选打 click logit,student 用单独的 head 以 L1 损失匹配。关键设计是蒸馏梯度穿过解码器传回压缩器,由 teacher 的判断决定 K 个 token 里留什么信息。teacher 独立训练,线上不跑。另一个零成本细节:未点击 impression 的训练目标从 0 抬到小量 ε(非对称 label smoothing),理由是用户可能根本没看到这条广告。K 和 M 直接对齐服务算力预算,想省就调小。
离线评测用内部 RTB 日志:365 天、约 10^9 个训练目标、历史截到 8192 个事件,全局时间切分。
| 配置 | NE ↓ | 相对基线改善 | teacher 收益保留 |
| Context-aware ARGUS(生产基线) | 0.7204 | 0 | 0 |
| X-split ARGUS | 0.7146 | +0.81% | 71.6% |
| Teacher(全历史,无法上线) | 0.7123 | +1.14% | 100% |
该测试集上 0.1% 的 NE 变化即统计显著。压缩学生保住 teacher 七成收益,是全文最核心的数字。
消融:K 降到 2 掉 0.19%,升到 32 只再赚 0.08%,压缩 token 边际递减;近期窗口 M 从 256 砍到 8 掉 0.34%;两个编码器从 6 层加深到 10 层,NE 一路走低;负样本 smoothing 在 K=2 下白赚 0.18%,训练推理成本都不变。
线上部署在 RTB 系统最大广告位,约承担一半流量、每秒十万量级请求。7 天 A/B(各组 6% 流量):ACV 相对提升 4.65%,点击提升 2.96%,p<0.001,一个月后的反向实验复现了结论。代价是同延迟预算下在线 GPU 多用 15%,外加每日预计算和几百 GB embedding 存储。固定 checkpoint 的优势随训练间隔每天掉约 0.05 个百分点,生产上靠每天用最近 3 天数据微调兜住。
对排序工程师,这套离线压缩加在线 cross-attention 的拆分是可以直接抄的服务范式:长历史彻底移出请求路径,近期编码请求内共享,每个候选只为 cross-attention 付钱。71.6% 的保留率说明学生离 teacher 天花板不远,而 teacher 本身因为算力和存储根本无法上线。4.65% 的 ACV 提升在工业排序里是必须认真对待的量级,15% GPU 增量、延迟不变,把性价比账算得明明白白。K、M 可调也意味着同一架构能按预算伸缩。
相对 VISTA、TM20K 这条已有路线,机制上的新东西更偏组合与工程化;把它放进十万 QPS 的生产环境并把成本账算全,恰恰是多数论文缺的那块。
作者自述三条:深度实验同时加深两个编码器,分不清容量与感受野各自的贡献;teacher 只能当质量参照;优势随时间线性衰减,必须长期养一条每日微调流水线。
存疑之处:离线只对照自家 Context-aware ARGUS 一个基线,没有与 VISTA、TM20K 在同数据上比,71.6% 是自家体系内的数字;离线 0.81% 的 NE 改善放大成线上 4.65% 的 ACV,论文没给机制解释;内部数据加附录超参,复现无门。15% 只是在线 GPU 增量,预计算、存储、微调的总持有成本只说了相对在线推理很小,没给绝对数。