TokenSpeed 在 32 张 GB300 上跑 Kimi K3,单卡 331 tokens/s
zhyncs42 · x · 2026-11-11
LightSeek 基金会发布 TokenSpeed 推理博客：在完整 SemiAnalysis AgentX trace 上，用 32 张 NVIDIA GB300 服务 Kimi K3 NVFP4，单 GPU 输出吞吐达 331.18 tokens/s，是标准 8 卡 DCP8 基线的 1.92 倍。
核心技术组合：
- 独立 DWDP16 prefill + 高效 DEP16 批量解码
- 共享缓存跨轮保留 agent 会话历史，使 prefill 部署摆脱会话亲和性限制
- 异步调度避免准备和数据传输打断有效 GPU 工作
核心论点：cache hit rate 与 workload balance 是高吞吐 agentic 推理的两大基础。Kimi K3 为 2.8T 总参/104B 激活的 MoE 模型，93 层含 69 层 KDA 与 24 层 MLA，超大参数量使 HBM 缓存容量成为服务的主要瓶颈。
「Infra」频道最新
- Together 研究负责人谈内核原理与 AI 优化自身推理的循环 — togethercompute · 2026-11-11
- PyTorch ExecuTorch 新增 WebGPU 后端:模型一次导出浏览器直跑 — PyTorch · 2026-11-11
- Hedra 让 AI Agent 跑训练实验，人类研究员只做引导 — testingcatalog · 2026-11-11
- Polymarket 押注:美国任何州今年通过数据中心禁建法概率 25% — Polymarket · 2026-11-11
- 美国大麻种植户转型 AI 数据中心，Forbes 报道行业转向 — Polymarket · 2026-11-11
- 微软专利曝光:付钱租用你闲置的家用 GPU 训练 AI — Resident-Fall4351 · 2026-11-11