腾讯 TokenFormer V2 统一推荐架构:精度持平而算力省 5.1 倍
_reachsumit · x · 2026-11-18
腾讯团队发布 TokenFormer V2 论文,针对工业推荐的「分辨率-复杂度」困境:细粒度建模长行为序列代价高,而压缩摘要又损失预测证据。
架构核心:
- 为每条用户行为保留一个 token,按局部分组做注意力,最终预测直接读取每个 token(Full-Resolution Readout)
- 通过层级分组合并扩大交互范围,用 NS Fusion 与 Global Sync 模块协调分布式分组
- 将表征分辨率与交互密度解耦,计算集中在结构化交互上
在 TAAC 2026(腾讯广告算法大赛)基准上,该架构在统一推荐基线中达到顶级精度,FLOPs 仅为领先基线的约 1/5.1,在长行为序列与行为不均衡场景下仍保持优势,并支持十亿参数级扩展。
「研究」频道最新
- 加州 AI Amplitudes 学校与研讨会 2026 年 11 月办,聚焦 AI 用于散射振幅 — KyleCranmer · 2026-11-18
- UCLA 举办 AI Amplitudes 研讨班:用机器学习攻量子散射振幅 — KyleCranmer · 2026-11-18
- 循环层复用难救多模态嵌入,预训练加循环才涨 4.23 分 — _reachsumit · 2026-11-18
- 蚂蚁 Repo-Premium 基准:公平评测下 BM25 可追平稠密检索 — _reachsumit · 2026-11-18
- 快手提出 GBPO:诊断 GRPO 三大缺陷,生成式推荐训练更稳 — _reachsumit · 2026-11-18
- GainReason:按每句推理对目标预测的增益来奖励推理链 — _reachsumit · 2026-11-18