阿里 SpecFormer 用谱软化机制对抗推荐模型塌缩
_reachsumit · x · 2026-07-28
阿里巴巴提出的 SpecFormer 试图解决推荐系统里的一个退化问题：embedding 和 attention collapse。作者认为，把标准 Transformer 直接用在推荐场景里，往往会不如一些更简单的推荐模型，原因在于推荐数据的长尾和异质性会让嵌入向量的奇异值谱严重塌缩，只剩少数主方向主导。
为了解决这个问题，论文提出了三项设计：
- Learnable Spectral Softening：动态平滑输入 token embedding 的奇异值分布
- Spectrum-softened Attention：在更均匀的谱空间里建模特征交互
- Spectral Residual Position Encoding：引入谱感知的位置编码
论文的目标是缓解表示空间塌缩，让 Transformer 在推荐任务中能更稳定地随深度扩展。
「研究」频道最新
- UPenn 实验：让 Claude 批判自己默认想法,研究灵感产出提升最多 — arjunrajlab · 2026-10-16
- SimpleMark 论文:多比特文本水印可将每 token 失真限制在预算内 — rishabh16_ · 2026-10-16
- 斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力 — HirokatuKataoka · 2026-10-16
- Cohere Labs 将在 EMNLP 2026 展示推理模型置信度估计等新研究 — Cohere_Labs · 2026-10-16
- Vals RSI 指数外推：Google 模型或于 2027 年 10 月达 130% 自研水平 — HaydnBelfield · 2026-10-16
- SpatialClaw 被纳入智能体视觉数据集，数据筛选与评测是重头 — CMHungSteven · 2026-10-16