字节 SequenceO1 抖音全量上线:10 万条用户行为序列压缩建模
_reachsumit · x · 2026-09-09
字节跳动发布 SequenceO1,一个端到端超长用户行为序列(10 万级交互)推荐建模框架,已在抖音全量上线。
核心设计是「先压缩、后推理」:
- Sketch Attention(SA):用可学习原型(prototypes)和原型级归一化,把原始历史序列压缩为固定大小、与目标无关的用户表示,解决 10 万规模下存储、传输与训练吞吐的长度依赖成本。
- 目标条件交叉注意力(STCA):对近期 1 万条后缀做短期细粒度建模,配合全局 sketch 覆盖长期兴趣,处理互补的多时间尺度。
论文指出 10 万规模下瓶颈不只是注意力复杂度,更在于序列特征的存储、传输与反复处理;此前的截断、多阶段检索、压缩终身历史或「短训长推」方案都会削弱端到端优化或保留长度相关开销。SequenceO1 通过低秩缓存(sketch 可缓存)在严格的延迟、显存、通信与训练吞吐约束下实现了全流量部署。
「研究」频道最新
- 往机器人 VLA 模型里加希腊语:双语训练可提升性能但远逊英语 — KIEFERSA · 2026-09-09
- Transformer 早编码晚启用:对对话者专业水平的推断各层何时生效 — Mika Okamoto · 2026-09-09
- Cadence:用时序基础模型实现误差有界的有损时间序列压缩 — Roberto Tacconelli · 2026-09-09
- ECCV 2026 第四届 Perception Test 挑战赛聚焦城市级空间智能 — AjdDavison · 2026-09-09
- Meta 研究员分享 capi 训练技巧:按批次比例丢弃样本保住 GPU 效率 — TimDarcet · 2026-09-09
- Common Crawl 发布实验性图嵌入数据集,覆盖 5290 万网站主机 — lhoestq · 2026-09-09