FeatherAttn:Strix Halo 上注意力反向传播比 FlashAttn 快 4 倍
woct0rdho · reddit · 2026-10-31
开发者 woct0rdho 发布了开源项目 FeatherAttn，针对 AMD RDNA3/3.5 GPU(如 Strix Halo)优化注意力反向传播 kernel。
要点：
- 此前 FlashAttn 在 RDNA3 上走 AMD AITER 的 Triton kernel，前向够快但反向无人优化
- FeatherAttn 用更优的流水线设计重写 bwd kernel：head dim 128 时快 4 倍，head dim 64 时快 1.3 倍
- 近期多数新模型(Anima、Krea 2、MOSS、H3)用 head dim 128，SDXL 为 64，因此收益覆盖面大
- 实测让 Anima LoRA 训练提速 40%
- 未使用 int8/fp8 量化或稀疏化，如何在 RDNA3/3.5 上利用这些仍是开放问题
对在 AMD 消费级/集成 GPU 上做本地训练的用户是实打实的提速。
「Infra」频道最新
- Strix Halo 一键 Docker 跑 vLLM，Qwen3.8-Flash-Next 解码提速 2.4 倍 — asfbrz96 · 2026-10-31
- AMD 传 11 月再涨 Radeon GPU 与 GDDR6 价格 — chemist_slime · 2026-10-31
- 不同 NVIDIA GPU 跑同一模型输出竟不同,BF16/FP8/FP4 精度实测 — Kyrannio · 2026-10-31
- Kubernetes AI Conformance 升级为 SIG Architecture 永久子项目 — TerryTangYuan · 2026-10-31
- Google 展示首条从太空生成的 AI 回复：一首俳句 — LinkedInNews · 2026-10-31
- llama.cpp 滑窗注意力上下文检查点堆爆内存的排查复盘 — jomi-se · 2026-10-31