研究揭示残差连接导致推荐模型过度依赖最近交互
_reachsumit · x · 2026-08-17
问题发现：基于 Transformer 的因果自注意力推荐器（如 SASRec）在推理时往往过度依赖最近的交互项目，但具体的结构原因尚不明确。
核心结论：研究发现，尽管自注意力聚合了上下文信息，但残差加法会将表示急剧推向同位置的贡献，这种现象被称为“残差主导”。
验证方法：通过推理时的残差缩放作为干预手段，实验表明改变残差强度会在结构混合与“最后一项依赖”之间产生单调权衡；减弱残差强度可以恢复一部分非最终位置命中。
「研究」频道最新
- 卡马克质疑流式 RL:单次观测即丢弃是糟糕设计 — ID_AA_Carmack · 2026-08-17
- AI 智能体科学发现：从文献到新蛋白质序列的端到端管线 — BrianHie · 2026-08-17
- 深度强化学习圈的黑话:代理损失其实是「假损失」 — burkov · 2026-08-17
- 新基准评估 AI 生成视频检测器：现实危机场景下泛化能力差 — huggingface · 2026-08-17
- HumanTracker 基准发布：评估人形机器人运动跟踪质量 — GalaxyGeneralRobotics · 2026-08-17
- 新方法提升推理效率：验证关键声明而非采样更多答案 — WeiboAI · 2026-08-17