Deco 论文把推荐模型「思考」与「拼写」解耦，吞吐提升至 8.6 倍
_reachsumit · x · 2026-10-26
arXiv 论文提出 Deco（decoding from concepts），解决生成式推荐中 semantic-ID beam search 的服务成本问题。
- 现状痛点：标准自回归接口为 SID 长度 K 付费两次——T 条历史要展开成 TK 个代码 token 进入 backbone，且 beam search 每步都过 backbone，返回 B 个候选需 O(BK) 次 backbone 解码，这一成本往往占大头
- 方法：backbone 把每条历史压缩为一个融合 token，一次性浓缩出「下一物品概念」；一个轻量 KV-cache 解码器基于该概念运行全部 beam search，SID、trie 约束与自回归分解保持不变
- 结果：仅交叉熵即可接近全 backbone 精度，蒸馏后更好；在电商、电影、音乐流媒体等 7 个数据集上，精度持平或更优，同时在 50ms p95 延迟预算下吞吐达 3.2–8.6 倍
「Infra」频道最新
- B200 实测：torch.compile 关一个开关，同一计算提速 4.53 倍 — cfregly · 2026-10-26
- 开发者在 128GB RTX Spark N1X 上调通 Qwen3.8-Flash-Next W4A16 量化并开源 — mycall · 2026-10-26
- 贝索斯继任者称 Annapurna 是亚马逊史上最佳收购，自研芯片年化将达 500 亿美元 — SumitGup · 2026-10-26
- Anthropic工程师确认Claude Code缓存命中率已高，缓存节省落地 — teortaxesTex · 2026-10-26
- 六个月赌局：混合部署胜过全面本地化，按任务拆分模型才省钱 — yi111 · 2026-10-26
- 预算 4000-5000 美元想本地跑 AI 视频生成，求购机建议 — dewsphere · 2026-10-26