新研究:复用稀疏自编码器可解释特征作生成式推荐物品词表
_reachsumit · x · 2026-10-29
论文《The Vocabulary Is Already Here》提出 API 框架,把预训练稀疏自编码器(SAE)暴露出的带人类可解释语义标注的 PLM 特征索引,直接复用为生成式推荐(GR)的语义 ID(SID)词表,免去额外拟合词表的训练成本。
关键点:
- 现有 GR 方法需在预训练语言模型的物品描述表征上拟合 SID 词表,成本高且词表覆盖受拟合域限制;而 SAE 特征索引天然可复用。
- 挑战在于:在紧凑 token 预算下保持物品区分度、让模型在共享主导特征的候选间偏向目标物品、并把可解释性从物品内容扩展到检索决策。
- 提出 PID(Pretrained Interpretable IDs):保留选定特征索引及其相对激活强度以区分物品。
- 以 PID 为监督,SPA(Semantic Prediction Adapter)通过联合预测特征索引与强度,从交互历史学习用户偏好。
附带代码仓库链接。
「研究」频道最新
- 结合蛋白设计只解释约 3% 临床失败，AlphaFold 类模型被高估？ — clarejtbirch · 2026-10-29
- Byte H-Net 代码任务显示 2.24 倍计算效率，OpenAI 研究员提醒规模 caveat — willdepue · 2026-10-29
- 467页图解《心理学与神经科学原理》上线,可配 AI 导师阅读 — burkov · 2026-10-29
- 新工作论文：AI 可依据预注册文件预测经济学处理效应 — birchlse · 2026-10-29
- kalomaze：固定尺寸 UTF-8 线性投影基线够用，BPE 只是惯性特权 — kalomaze · 2026-10-29
- ProgramLab 发布：1261 个真实程序作智能体训练场，可单练也可组队 — jyangballin · 2026-10-29