快手 BRIDGE:codebook 锚点+自蒸馏弥合生成式推荐的语义量化鸿沟
_reachsumit · x · 2026-11-06
快手团队识别出生成式推荐的一个被忽视瓶颈——语义量化鸿沟(SQG):RQ-VAE 从丰富的连续信号(码本中心、邻域几何、层级熵)量化出 Semantic ID,但解码器只拿到离散 ID,丢失了背后的语义结构,表现为 grounding gap、neighborhood gap 和 difficulty gap 三种失配。
BRIDGE 的对策:
- 码本锚定潜推理:SID 生成前注入冻结的量化器中心作为语义锚点
- 特权 EMA 自蒸馏:从教师向在线学生迁移邻域感知知识,保留条目间几何、缓解曝光偏置
- 难度感知递归:给更难的浅层分配更多算力,随深度递减
在三个 Amazon 基准上提升召回表现。
「研究」频道最新
- 无需训练仅 355 个权重实现四位数乘法,比 SOTA 少 4 万倍 — willdepue · 2026-11-06
- Burkov 提议:用海量权重文件预训练 Transformer,让它学会编辑模型权重 — burkov · 2026-11-06
- AI 研究者：后训练数据管线仍高度人工，自动化远未到来 — menhguin · 2026-11-06
- Anthropic 报告：AI 全面自动化科研或带来 15-16 倍产出，物理实验成瓶颈 — teortaxesTex · 2026-11-06
- Elastic AI 副总裁：把搜索看作测试时计算，延迟是可花的预算 — gaganghotra_ · 2026-11-06
- 免训练投机解码框架加速全双工语音模型,显著降低响应延迟 — CUHKSZ · 2026-11-06