TokenSpeed MLA 2 发布:Kimi K3 在 Vera Rubin 解码最快提速 3.44 倍
zhyncs42 · x · 2026-10-16
LightSeek 的 TokenSpeed 团队发布 MLA 2 解码内核,针对 NVIDIA Vera Rubin 优化,是面向 Blackwell 的 MLA 1 的继任者(类比 FlashAttention 的 FA1/2/3/4 迭代)。关键数据:在长上下文基准上,Kimi K3 解码相比 B200 上的 MLA 1 最高提速 3.44 倍,GB200 上最高 2.84 倍,同时包含硬件与软件层面的收益。技术要点:利用 Vera Rubin 上 K=64 字节 FP8 MMA 指令每 SM 每时钟算力翻倍的特性,更大的共享内存与 TMEM 支持更宽 tile 与更深缓冲;基于 FlashInfer 衍生管线,针对 Kimi K3 的 96 个 query 头(H96)与 4/8 个 query token(Q4/Q8)负载适配,并做 attention 管线的 QK/PV 重叠优化。MLA 1 曾于 2026 年 5 月发布,launch 基准当时超越 TensorRT-LLM MLA 基线,服务过 Kimi K2.5 与 K3;tokenspeed-mla 包 PyPI 月下载量已超 200 万。团队感谢 NVIDIA AI 提供早期硬件访问与工程合作。
「Infra」频道最新
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16
- 首个 TPUv7 Agent 基准成绩:vLLM 服务下每美元性能超 GB300 NVL72 达 1.42 倍 — vllm_project · 2026-10-16
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16
- AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存 — Aiden_Tech_Ai · 2026-10-16