FlashInfer 合并 Blackwell 内核,端到端推理提速 7.6%
YouJiacheng · x · 2026-08-06
FlashInfer 正式合并了针对 Blackwell 架构(SM100/SM103)优化的 tinygemm2 内核。
- 性能提升:在大形状计算中速度最高提升 1.79 倍,内核耗时平均降低 18-23%。
- 端到端加速:在 SGLang 框架中,该优化转化为最高 7.6% 的实际推理服务加速。
- 无损兼容:新内核保证了与原实现完全一致(bit-identical)的输出结果,且在不支持的架构上会自动回退到参考实现。
「Infra」频道最新
- 高盛预测:2027年超大云厂商资本支出将达1.2万亿美元 — Beth_Kindig · 2026-08-06
- Cloudflare 发布 Agent 专属浏览器 Kitesurf — threepointone · 2026-08-06
- Cloudflare 推出全新无状态 MCP 架构 — threepointone · 2026-08-06
- slime v0.3.1 发布:大幅优化显存与训练性能 — hsu_byron · 2026-08-06
- 将Rust编译器提速3倍,每年可节省数亿美元算力 — doodlestein · 2026-08-06
- Alphabet 年内已募资超 1500 亿美元,正寻求 250 亿新债 — firstadopter · 2026-08-06