TokenSpeed MLA 2 上线 Vera Rubin，Kimi K3 解码最高提速 3.44 倍
zhyncs42 · x · 2026-10-16
LightSeek Foundation 发布 TokenSpeed MLA 2，将 MLA 解码内核优化到 NVIDIA Vera Rubin，专为 Kimi K3 的长上下文 agent 推理设计（96 个 query 头，Q4/Q8 配置）。
- 性能：长上下文基准中，MLA 2 在 Vera Rubin 上较 MLA 1 在 B200 上最高提速 3.44×，较 GB200 上提速 2.84×（含软硬件双重改动）
- 背景：MLA 1 于 2026 年 5 月发布，面向 Blackwell，launch 基准曾超越当时的 TensorRT-LLM MLA 基线，已服务 Kimi K2.5 和 K3
- 生态：tokenspeed-mla 包 PyPI 月下载量已超 200 万
- 技术要点：基于 FlashInfer 派生管线，利用 Vera Rubin 上 FP8 K=64 字节 MMA 指令每 SM 每时钟 2 倍吞吐、更大共享内存与 TMEM，并用 CTA 对交替执行 QK 与 PV 实现注意力管线重叠
所属事件:TokenSpeed MLA 2 上线英伟达 Vera Rubin，Kimi K3 解码提速 3.44 倍(3 条相关)→
「Infra」频道最新
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16