TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍
zhyncs42 · x · 2026-10-16
LightSeek Foundation 发布针对 NVIDIA Vera Rubin 优化的 TokenSpeed MLA 2 解码内核，面向长程 agent 推理场景。
- 性能：长上下文基准中，MLA 2 在 Vera Rubin 上相较 B200 上的 MLA 1 提速最高 3.44×，较 GB200 提速最高 2.84×（含硬件与软件双重改进）。
- 技术要点：利用 Vera Rubin 的 K=64 字节 FP8 MMA 指令（每 SM 每时钟算力翻倍）、更大的 shared memory 与 TMEM；基于 FlashInfer 流水线改造，适配 Kimi K3 的 96 个 query head（H96）与 Q4/Q8 配置。
- 背景：2026 年 5 月发布的初版 TokenSpeed MLA 面向 Blackwell 长上下文 agent 推理，曾超越当时 TensorRT-LLM 的 MLA 基线，先后支持 Kimi K2.5 与 K3；tokenspeed-mla 包在 PyPI 月下载量已超 200 万。
所属事件:TokenSpeed MLA 2 上线英伟达 Vera Rubin，Kimi K3 解码提速 3.44 倍(3 条相关)→
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16