抖音上线 GEAR:端到端生成式广告检索,联合优化解决码本坍缩
_reachsumit · x · 2026-10-01
字节跳动发表论文,介绍部署于抖音的 GEAR 端到端生成式广告检索框架,将 tokenizer、generator、reranker 联合训练。
- 两大瓶颈表示坍缩:分布漂移下 item tokenizer 收敛到退化结果,阻碍端到端适配;item 碰撞:候选池巨大时不同 item 共享相同 token 序列,损害检索精度。两者相互耦合——扩大码本缓解碰撞会加剧坍缩。
- 方法提出 BasisVQ,通过正交基重参数化码本实现全局梯度共享与潜空间刚性旋转,稳定梯度动态;扩展为前缀感知的 BasisRQ 增强码本表达力,时间复杂度不变。
- 针对碰撞,在生成过程中加入上下文条件 reranking head,以极小计算开销区分碰撞 item。
「研究」频道最新
- CMU 发布 CUA-SWE：让计算机使用 Agent 做可视化软件工程 — CarnegieMellonU · 2026-10-01
- 新论文：主成分回归在所有问题上胜过最小二乘等谱滤波法 — kfountou · 2026-10-01
- MIT 推出 xvr：5 分钟建模，X 光秒级对齐 3D 扫描助手术导航 — MacrinePhD · 2026-10-01
- UniMate 单一模型统一驱动多骨架动画，入选 SIGGRAPH Asia 2026 — Friedrich-M · 2026-10-01
- 时间序列基础模型教程与综述论文发布，覆盖研究全貌 — PtrPomorski · 2026-10-01
- ICLR 2027 拟设 AI-Sci 工作坊，征集各领域科学家参与 — asusarla · 2026-10-01