OptST:让冻结语义分词器适配下游推荐,低秩变形+按需 token 深度
_reachsumit · x · 2026-11-06
两阶段生成式推荐管线中,语义分词器先训练、后固定,下游推荐器只能学会使用既定 token 分配,无法修订语义划分。OptST 让预训练分词器对下游任务做出响应:
- 低秩变形 + 锚点正则:不直接更新预训练编码器与基础码本,而是学习受约束的 token 分配调整
- 直通估计器:推荐监督穿越离散分配进行训练,预测时仍保留硬性最近邻分配
- 按需前缀深度:根据交互难度选择暴露多少语义 token,而非所有交互共用同一分辨率
「研究」频道最新
- 无需训练仅 355 个权重实现四位数乘法,比 SOTA 少 4 万倍 — willdepue · 2026-11-06
- Burkov 提议:用海量权重文件预训练 Transformer,让它学会编辑模型权重 — burkov · 2026-11-06
- AI 研究者：后训练数据管线仍高度人工，自动化远未到来 — menhguin · 2026-11-06
- Anthropic 报告：AI 全面自动化科研或带来 15-16 倍产出，物理实验成瓶颈 — teortaxesTex · 2026-11-06
- Elastic AI 副总裁：把搜索看作测试时计算，延迟是可花的预算 — gaganghotra_ · 2026-11-06
- 免训练投机解码框架加速全双工语音模型,显著降低响应延迟 — CUHKSZ · 2026-11-06