百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍
BaiduResearch · x · 2026-10-16
百度研究院发布 FlashMask，一个面向 LLM 长上下文训练的高性能 Attention 库，已在 GitHub 开源，论文 FlashMask-3 被 NeurIPS 2026 接收。
核心特性：
- 灵活支持复杂注意力掩码，采用列级稀疏掩码表示
- 比 FlashAttention-4 最高快 1.55×
- 高效的上下文并行：负载均衡 + 计算与通信重叠
- 基于 CuTe DSL 实现，同时支持 PaddlePaddle 与 PyTorch
- 支持 SM90（Hopper）与 SM100（Blackwell）架构，新版内核运行时 JIT 编译
- 支持大 head dim：192/128、256/256、512/512、576/512
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16