Meta 发布 FlashAttention-4 MXFP8 版：Blackwell 上 2.85 PFLOP/s
PyTorch · x · 2026-09-17
Meta 工程团队为 NVIDIA Blackwell 扩展了 FlashAttention-4 的 MXFP8 支持，覆盖前向与反向 kernel、融合量化与 jagged cross-attention，并构建了带融合量化与 FP8 激活计算的端到端 jagged 模块，已在内部用于 GEM 训练。最新硬件上 LP FA4 kernel 前向达 2.85 PFLOP/s、反向 2 PFLOP/s，端到端模块最高提速 1.30×。设计与开源实现见其博客。
「Infra」频道最新
- 欲撼动 Postgres 须先复制其集成生态，而非只拼性能 — mgill25 · 2026-11-02
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02