腾讯 LatentRec:推理期思维链换成训练期监督,延迟降 18.3 倍
_reachsumit · x · 2026-11-06
腾讯提出 LatentRec 框架,探讨 LLM 推荐系统是否需要在推理时用文字思考。
- 核心思路:把推理期的思维链(CoT,每次推荐多花几十到上百 token)替换为训练期的逐步监督,推理时无需任何推理产物
- 三个组件:2.5M 参数的连续思维模块在训练时对 LLM 隐状态做 K 步潜推理;Soft Token Selection 弥合隐状态与输入嵌入之间约 14 倍的范数差距;逐步推理损失(PRL)通过 LLM 预测头监督每个中间状态
- 效果:在三个 Amazon 基准上,较 CoT 蒸馏基线 HR@10 相对提升 4.0–5.0%,batch=1 延迟降低 18.3 倍;模块在部署时可丢弃
「研究」频道最新
- 无需训练仅 355 个权重实现四位数乘法,比 SOTA 少 4 万倍 — willdepue · 2026-11-06
- Burkov 提议:用海量权重文件预训练 Transformer,让它学会编辑模型权重 — burkov · 2026-11-06
- AI 研究者：后训练数据管线仍高度人工，自动化远未到来 — menhguin · 2026-11-06
- Anthropic 报告：AI 全面自动化科研或带来 15-16 倍产出，物理实验成瓶颈 — teortaxesTex · 2026-11-06
- Elastic AI 副总裁：把搜索看作测试时计算，延迟是可花的预算 — gaganghotra_ · 2026-11-06
- 免训练投机解码框架加速全双工语音模型,显著降低响应延迟 — CUHKSZ · 2026-11-06