同一稀疏分页 GQA 解码核用六种写法：CUDA 比 PyTorch 快 14 倍
Daemontatox · reddit · 2026-10-22
作者在 RTX 4060 Laptop（SM89/Ada）上，把同一个稀疏分页 GQA decode attention 内核（FP8 KV cache、Top-K 512、页大小 16、256 请求）用六种方式实现并横评：Raw CUDA、Triton、两种 CuTe DSL、Mojo (MAX)、eager PyTorch，代码、图表与 Nsight Compute 报告全部开源。
结果：
- Raw CUDA C++：2.164 ms（0.992 TFLOP/s）最快
- Triton：2.442 ms，仅比 CUDA 慢 13%，占用率最低但 SM 吞吐最高（86.31%）
- 优化版 CuTe DSL：4.441 ms；基线版 CuTe：15.45 ms——分组映射使 CuTe 快 3.5 倍
- Eager PyTorch：31.02 ms（所有融合内核都远快于它）
- Mojo 因计时含 host enqueue 成本不参与排名
观察：占用率不能预测延迟；优化 CuTe 用 2048 个 CTA 而非 8192，并免去 QK 的共享内存与 barrier。
开放问题：分组内核中每个 warp 仍各自加载 K/V 行，逻辑 K/V 请求约 1 GiB，而 eager gather 只要约 256 MiB——作者未找到低风险的跨 query head 共享 K/V 加载方案，欢迎指正。作者也列出了单次运行、笔记本 GPU、合成数据等局限。
「Infra」频道最新
- Google 升级 Coral NPU:开放架构+编译器让小设备本地跑 AI 不耗电 — GoogleAI · 2026-10-23
- Weaviate 三年把内存占用从 9.9 GB 降到 1.4 GB,压缩算法迭代立功 — CShorten30 · 2026-10-23
- Rescale 五天打造测试失败 AI 分诊 agent，用 Claude 分类自动路由 — AWS ML Blog · 2026-10-23
- 特斯拉与英伟达斥资 28 亿美元扩建三星先进封装供应链 — XFreeze · 2026-10-23
- 分析师 Ben Bajarin:该把数据中心当作核心地段房产来看 — BenBajarin · 2026-10-23
- CoreWeave 推出 Physical AI Launchables：一条命令跑 Isaac Sim 等机器人工作负载 — wandb · 2026-10-23