社区用 CuTe DSL 给 TokenSpeed 补齐 Hopper 版 DeepSelect 内核

zhyncs42 · x · 2026-10-17

社区在为 DeepSeek V4.1 优化 TokenSpeed 推理引擎的 Hopper 支持：官方 DeepSelect 只提供了 Blackwell cubin，社区成员 FC-Li 提交 PR #1737，用 CuTe DSL 在树内实现 DeepSelect 算法（含 SM90 thread-block-cluster 路径），让 Hopper 上的 indexer 行选择不再依赖 FlashInfer 的 radix top-k。细节上，单 CTA/cluster 对 FP32 行做 top-k：前 8192 个条目（行内顺序尾部 4096 + 伪随机 512 段）用 8-bit radix select 精确选取。发帖人透露该引擎已在生产环境跑数千张 Hopper GPU（PD 分离部署），是目前 Hopper 上最快的 DeepSeek V4.1 引擎。