First Passage Attention：以路径极值替代衰减累加，压缩缓存下完美长程检索
Yuxuan Liu · hf · 2026-10-21
卑尔根大学 Yuxuan Liu 的论文提出 First Passage Attention（FPA），将注意力机制中单调的衰减累加改为路径极值：按学习标量场在键的生命周期内最深下探幅度成比例降低其 logit，从而选择性擦除中间内容、保留结构相关的旧 token。要点：
- FPA 包含 Forgetting Transformer（FoX）为特例；共享学习路径下存活键的未预测 logit 自然形成堆栈结构。
- 恒定维度的 FPA 头可实现「任意键子集存活」，而 softmax 头需要头维度随键数线性增长。
- 合成实验中单层 FPA 头能收敛到目标集合，softmax 与 FoX 基线在所有随机种子下均失败。
- 扩展到 110M 参数语言模型：FPA 困惑度与 FoX 持平，且在 8 倍训练长度下唯一实现完美 passkey 检索，即使 KV 缓存压缩至约 25%。
「研究」频道最新
- fastISM 加速卷积网络饱和突变分析,已成默认方案 — jmschreiber91 · 2026-10-21
- Arc Institute 发布 Bolero:仅凭 DNA 序列预测特定细胞状态的基因调控 — anshulkundaje · 2026-10-21
- Wolfram 又晒「数字动物」：最新科学项目孵出的奇异标本 — cephaloform · 2026-10-21
- 斯坦福学者提醒：基因组AI模型须测跨细胞类型活性预测 — anshulkundaje · 2026-10-21
- GPT-6 Astra 与 Claude Fable 5.1 写论文，专家评审仍全部拒稿 — sayashk · 2026-10-21
- giffmana 论战 tokenizer 语义漂移:编码器不都是分词器 — giffmana · 2026-10-21