阿里 SpecFormer 用谱软化机制对抗推荐模型塌缩
_reachsumit · x · 2026-07-28
阿里巴巴提出的 SpecFormer 试图解决推荐系统里的一个退化问题：embedding 和 attention collapse。作者认为，把标准 Transformer 直接用在推荐场景里，往往会不如一些更简单的推荐模型，原因在于推荐数据的长尾和异质性会让嵌入向量的奇异值谱严重塌缩，只剩少数主方向主导。
为了解决这个问题，论文提出了三项设计：
- Learnable Spectral Softening：动态平滑输入 token embedding 的奇异值分布
- Spectrum-softened Attention：在更均匀的谱空间里建模特征交互
- Spectral Residual Position Encoding：引入谱感知的位置编码
论文的目标是缓解表示空间塌缩，让 Transformer 在推荐任务中能更稳定地随深度扩展。
「研究」频道最新
- Retriever 框架：解决机器人异步闭环编程难题 — ZeYanjie · 2026-08-24
- 高斯混合模型与指数族密度逼近转换 — FrnkNlsn · 2026-08-24
- Netflix 揭秘 LLM Judge 生产实践：每周评估数十万条推荐解释 — omarsar0 · 2026-08-24
- Nature 评论：数据溯源是自主科学的信任基石 — gabepgomes · 2026-08-24
- 新架构 RHEA：8GB 显存即可训练 10 亿参数模型 — zemondza · 2026-08-24
- 跳过 LLM 写代码老套路：自训 16M 参数模型做生成式 CAD — debreuil · 2026-08-24