ScalarLens: Numerical Embeddings with Stable Coordinates and Contextual Responses for CTR Prediction
Heng Yao, Tianying Liu, Yulou Shu, Yong He, Chuan Yuan, Kaibin Qiu, Guowei Chen, Jiayu Zhao, Siyun Hou
cs.IR
2026-09-24
蚂蚁把数值坐标和语境响应拆开，同一标量在不同上下文里可有不同预测含义；二十七组点击率设定里二十五组排第一。
CTR 模型给数值特征做 embedding 时，默认一个标量对应一个向量。这个约定把「值在数轴上的位置」和「它在当前样本里意味着什么」焊在一起。Criteo 验证集上，同一 I7 区间 (2,3]，扣掉主效应之后，残差点击证据在不同 C17 分组里是 −3.2、+3.5、+5.8 个百分点，在 I11 分段里是 +6.8、+1.9、−7.2。数字没变，符号能反。
生产上还有一笔账。数值字段常来自不同作业、不同刷新节奏。单独物化一份标准化特征，训练和 serving 都要锁版本。ScalarLens 把「直接吃原始量纲」当成部署约束，而不是压力测试。
模块只改数值 embedding，类别 embedding 和 CTR 骨干原样。每个数值走两条路。
稳定坐标：在训练范围上学习单调局部网格（DEER 风格），用相邻节点插值。网格边界、插值系数只由该字段的标量和字段参数决定，上下文进不来。相同的数在任何样本里坐标相同。
语境响应：把局部坐标和类别 embedding 拼成字段 token，RMS 归一化后，每个字段单独出驱动 δ 和门控 g。共享低秩算子 UV 做 T=3 步有界更新，状态被夹在 [−1,1]。读出头把坐标、门控和中间状态拼回去，只输出数值向量。默认 d=16、K=16、m=8、r=16。
评测矩阵：3 个数据集（AutoML-A/E、Criteo）× 9 个骨干（DNN、DeepFM、WideDeep、NFM、PNN、DCN、DCNv2、AutoInt、FiBiNET）× 19 种数值表示 × 3 个种子，共 1539 次运行。主协议保持原始量纲；二次审计再做共享标准化。
原始量纲下 ScalarLens 在 27 组设定里 25 组第一、2 组第二，平均排名 1.074。两处第二都在 AutoInt 上：AutoML-A 输给 DEER 0.0005，AutoML-E 与 B-spline 在显示精度上打平。
| 数据集 | ScalarLens 均值 AUC | 最强对照 | 均值 AUC 差 |
| AutoML-A | 0.7139 | DEER 0.7069 | +0.0070 |
| AutoML-E | 0.8425 | PLR 0.8388 | +0.0037 |
| Criteo | 0.8113 | （组内第一，9/9 骨干） | +0.0012 |
相对 DEER / DAES / NaryDis 的配对 ΔAUC 在原始尺度上分别 +0.0041 / +0.0055 / +0.0060，Wilcoxon 经 Holm 校正后均显著。共享 z-score 之后优势还在，说明不只是「更能忍生数据」。消融里拿掉响应会掉 0.0005–0.0091 AUC；ContextFiLM 这类通用条件化复现不了同样的收益。受控实验里坐标位移精确为 0，响应仍能跟上类别、数值和混合机制的上下文偏移。优化后训练延迟是 DEER 的 0.74 倍，推理是 1.13 倍。
数值 embedding 被写成测量问题：坐标属于值，预测响应对应「值+上下文」。对特征流水线不统一、不想再物化标准化列的团队，这是一个可插拔模块。AUC 绝对提升是千分位到百分位，CTR 线上通常对这个量级敏感，但论文没有 A/B。27 组里 25 组第一，说明接口可迁移，不是某个骨干的私有技巧。
没有线上实验。超参冻结，AutoInt 上没拿下全部。部分基线是按论文复现，不是官方模块。Criteo 上 +0.0012 AUC 很小，统计显著不等于业务显著。响应动力学增加推理成本，优化后仍比 DEER 贵 13%。