新注意力核算法提速1.8-6.4倍，精确相对位置注意力进FlashAttention
INSAIT-Institute · hf · 2026-11-09
INSAIT 团队（Boychev、Petrov、Dimitrov）提出一种精确的相对位置注意力算法，将加性相对位置项整合进 FlashAttention 式的分块计算。方法包含三点：offset-aware tiling 避免冗余索引与内存访问、只计算必要的 query-relation 乘积并在前向反向间复用、基于 offset 的梯度分片消除原子竞争。配套统一的 Triton 实现：8K token 序列下前向加速 1.8–6.4×、反向加速 2.0–21×，峰值内存相对最强基线降低最高 2.9–128×（另一组机制为 1.4–54×）；端到端长上下文转录快 1.8×、省 2.4× 内存，可作为相对位置注意力 Transformer 的 drop-in 替代。
「Infra」频道最新
- GPU 编程 365 天打卡第 309 天：实操边缘端 LLaMA2-7B 优化 — NandoDF · 2026-11-09
- Waymo 首谈为何弃纯视觉：camera-only 易上手却难破 99.9% 之壁 — 4310sy · 2026-11-09
- HuggingFace 烧 80 万 GPU 小时发布 3 万字《终极 MoE 训练手册》 — Nouamanetazi · 2026-11-09
- HuggingFace 发布 3 万字 MoE 训练手册，含 50+ 交互图表 — Nouamanetazi · 2026-11-09
- 把 Mac mini 放家里当常驻节点，笔记本远程跑 AI 任务 — xiaohu · 2026-11-09
- GitHub Actions 与 Webhooks 再现故障,任务启动延迟官方正在排查 — DanielLockyer · 2026-11-09