FlashMask-3 发布:H100 上注意力掩码吞吐提升最多 141%
pmttyji · reddit · 2026-10-20
FlashMask-3 是面向长上下文训练的掩码感知分布式注意力实现,针对 Hopper 架构重写内核并支持多机上下文并行。
核心改进
- 掩码感知 Hopper 内核:基于 FlashAttention-3 的 TMA/WGMMA 流水线做三角色 warp 特化。
- 零通信掩码定位:任意多块上下文并行分配下,只需对边界向量做 clip–shift–max,无需通信。
- 稀疏感知负载均衡(HCC-IPO)与计算-通信重叠、掩码驱动的通信剪枝。
性能数据
- 单张 H100、4K–128K 上下文 12 种掩码下,TFLOPs 比 FlashMask/FlexAttention/MagiAttention 高 45–141%/34–71%/2–44%。
- 4–32 路上下文并行下吞吐比 Megatron-Core CP ring 高 1.80–3.71 倍。
- 128 张 H100 训练 118B-A14B MoE、128K 上下文,端到端吞吐提升 7.3–11.0%,注意力前反向快 24.5–44.9%。
代码基于 PaddlePaddle 开源。
「Infra」频道最新
- 256GB 内存版 Mac Studio 交付要等 15-17 周,一机难求 — LinusEkenstam · 2026-10-20
- Google 开源 TorchTPU:PyTorch 工作负载几乎不改代码上 TPU — rseroter · 2026-10-20
- Simular 神经符号混合架构让 computer-use agent 成本降 217 倍 — xwang_lk · 2026-10-20
- 前谷歌员工访谈：真正的瓶颈是数据中心和电力，而非 GPU 产能 — RihardJarc · 2026-10-20
- a16z 携手 fal、ElevenLabs 等办 AI Infra Day 深聊算力基建 — venturetwins · 2026-10-20
- 视频生成研究跑通 AMD MI350X,多项 PR 已并入 PyTorch nightly — vincesitzmann · 2026-10-20