FlashMLA 移植消费级 Blackwell，MLA 注意力实测最高快 3 倍
smashedshanky · reddit · 2026-08-30
开发者在做支持任意架构（GQA/MLA/Dense）的开源 LLM 训练库时，发现 DeepSeek 的 FlashMLA 内核只编译了数据中心级 sm100/sm90，于是为消费级 Blackwell sm120 移植构建了 Windows/Linux 版本并开源。
推理实测（对比 PyTorch SDPA）：
- 稀疏 fp8 decode（b=128, topk=2048）：2.62x 提速；稀疏 serving 场景约 5x
- 稀疏 prefill（sq=512, skv=8192）：2.61x
- FP8 KV cache：延迟 -8%，缓存内存省 1.84x（SDPA 反而 +1.8%）
- bf16 缓存的模型级 decode 约持平
训练实测（前向+反向）：Dense 序列 1024/4096/8192 分别提速 3.29x / 2.40x / 3.04x，稀疏 prefill 3.01x。
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16