Hybrid-Spark 推理加速：按步切换草稿模型最高提速 1.62 倍
Julianfmack · x · 2026-11-10
Hybrid-Spark 提出推测解码草稿器混合调度思路：不再全程使用单一草稿模型，而是根据内容在每个请求、每一步之间动态切换——模型式草稿器 DSpark 与无模型的 n-gram 草稿器按编辑距离等信号切换。
实测显示在代码编辑场景下，相比只用 DSpark 最高可再提速 1.62 倍；配图对比了 BS 4 与 BS 128 两种批次下不同编辑距离区间的吞吐加速，Hybrid-Spark 在各区间均优于单一草稿器方案。
「Infra」频道最新
- 万小时视触觉数据集发布,机器人数据「淘金热」卖铲人排队入场 — CyberRobooo · 2026-11-10
- Stratechery：黄仁勋故事继续恶化，真正风险是治理而非国家安全 — Stratechery · 2026-11-10
- 开源模型本地部署算账：Kimi K3.1 权重 594GB，四台 Mac Studio 仅 15 tok/s — ravikantagrawal · 2026-11-10
- InfraRSI 用递归自我改进优化训练基建：MFU 从 17.4% 提到 30%，加速至 2.75 倍 — TokenRhythm · 2026-11-10
- ClickBench 推出在线 Playground，可同时对 110+ 数据库跑 SQL — mgill25 · 2026-11-10
- 4 张 3090 换 1 张 5090?马来西亚创业者纠结 GPU 升级路线 — whity2773 · 2026-11-10