FLAMIA：MXFP8 注意力内核加速 Blackwell 训练，防因果泄漏支持变长打包
yresearch · hf · 2026-11-03
FLAMIA 是面向 NVIDIA Blackwell GPU 的 Flash Attention 实现，利用 MXFP8 微缩放与混合精度内核加速 Transformer 注意力训练。
- 通过按 key 分组共享缩放因子的设计，降低量化开销并保证因果安全——防止未来 token 信息经共享 scale 泄漏到当前位置（图示了 causal boundary 内外的 scale 分组）；
- 支持变长打包文档训练，用密集 per-row 缩放表与共享内存中的 128×4 atom 处理打包行内跨文档边界的置零。
「Infra」频道最新
- KVCache Meetup Korea 深挖 LLM 推理栈:CXL 内存池化与批调度实践 — PyTorch · 2026-11-03
- FuriosaAI 新一轮融资估值达去年营收 662 倍,无芯片大厂参与 — YvesMulkers · 2026-11-03
- 只升 onnxruntime-gpu 到 1.31+CUDA 13,SAM 3 推理提速 3.8 倍 — MaziyarPanahi · 2026-11-03
- 开发者观点：买 GPU 跑本地 AI 只是昂贵爱好，租用 API 永远更便宜 — Angaisb_ · 2026-11-03
- 本地推理引擎难题:模型生成think标签就中断思维链 — SilentMobius · 2026-11-03
- 全球超 2500GW 发电项目卡在并网队列，2025 年能源科技吸金近 2000 亿美元 — ingliguori · 2026-11-03