阿里提出 PFA 稀疏注意力,加速长序列生成式推荐解码
_reachsumit · x · 2026-10-30
阿里巴巴团队在 arXiv 论文 PFA(Progressively Focused Attention)中解决长用户行为序列下生成式推荐(GR)解码延迟高的问题。研究发现两个注意力规律:解码过程中注意力逐步聚焦于少数关键历史 token,且其重要性排序在后续解码步间保持稳定。
做法:首步保留全注意力探索全局偏好,之后通过 cross-beam 加权聚合建立共享重要性排序,把选中 token 的 KV cache 重排为连续内存布局,后续步骤复用排序并按几何级数缩减 token 集合。相比静态历史压缩(丢关键语义)和动态 top-k 稀疏注意力(重复选择与非连续访存开销),兼顾效率与语义完整性。
「研究」频道最新
- 用 SciSpace 一条提示词免费生成论文查重报告 — Faheem_uh · 2026-10-30
- Erdős 问题 #357 迎新纪录:穷举搜索找到 18 项反例上界 28 — kevrussell · 2026-10-30
- 「生物学只是数据问题」遭吐槽:一个基因 peptide 就够乱了 — iScienceLuvr · 2026-10-30
- Cohere Labs 将复盘 CulturalRiddles:51 种语言 6200 条谜题测文化推理 — Cohere_Labs · 2026-10-30
- Adam 与 AdamW 的区别:解耦权重衰减为何不等价于损失加 L2 正则 — cneuralnetwork · 2026-10-30
- 黎曼-洛伦兹参数融合：让 ViT 与状态空间模型免重训直接合并 — burkov · 2026-10-30