TorchSpec 为 Kimi K3 开源三款 SOTA 投机解码 draft 模型
hongyangzh · x · 2026-09-04
TorchSpec 团队自 Kimi K3 发布以来持续做推理加速,现与 vLLM 项目合作、在 NVIDIA GB200 上训练并开源 K3 Draft Collection——三个 draft 模型:EAGLE-3、DFlash2、DSpark,并公开了数据配方,细节见博客。
团队还分享了一个经验观察:高接受率 ≠ 更快,每种 draft 架构各有短板,需结合实际场景选择。
所属事件:Kimi K3 三款草稿模型开源并公开训练配方(3 条相关)→
「Infra」频道最新
- Pichai:所有人算力都严重短缺,谁都希望计划量翻倍 — firstadopter · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- General Compute 携手 Positron：GPU 管提示，专用内存硬件管出 token — aftahi_ai · 2026-10-21
- 2026 年 AI 相关债券发行已达 4190 亿美元,比去年全年高出 90% — SumitGup · 2026-10-21
- 专家警示:企业沉迷 AI 预算,正在忽视云 FinOps 基本功 — DavidLinthicum · 2026-10-21
- 爆料称 DeepSeek 缺的是算力:1GW 集群可训出远强于 V4.1F 的模型 — teortaxesTex · 2026-10-21