cuda.fast 排行榜：投机解码让 Bonsai 2 9B 在 DGX Spark 上快 240.9%
HankYeomans · x · 2026-10-17
推理优化平台 cuda.fast 恢复上线，公布 Bonsai 2 9B 在 DGX Spark 上的最新排行榜成绩：通过投机解码（speculative decoding）实现单流综合 240.9% 加速。
- 评分方法：单流综合分 = prefill 增益的 0.25 次方 × decode 增益的 0.75 次方，decode 权重占四分之三；串行基线为 1.0，由 benchd 计算并封存。
- 冠军方案（ArthurOstapenko，用 Opus 5.5 当 drafter）：decode 386.5 tok/s、prefill 4052.5 tok/s、9.9 tok/round。
- 其他上榜方案包括 newjordan 用 GPT-6.1 Sol 当 drafter 达 150.6%、davidtai 达 117.3%。
- 目前共 11 个入选提交、3 名 solver，与 mlx.fast 的对比尚未出分。
「Infra」频道最新
- 单卡 A100 本地跑 Nemotron 3.5,169 tok/s 处理百份病历仅 2 美分 — MaziyarPanahi · 2026-10-17
- NVIDIA 开源 AIPerf 基准工具 + Triton 官方教程：推理性能测量的两块拼图 — techNmak · 2026-10-17
- Triton 官方 GPU 编程教程：从向量加法到融合注意力 — techNmak · 2026-10-17
- GPU MODE 讲座仓库：性能剖析与 CUDA 入门首选 — techNmak · 2026-10-17
- Mini-SGLang：五千行 Python 读懂现代 LLM 推理系统 — techNmak · 2026-10-17
- MIT 6.5940 EfficientML：量化与高效部署课程免费学 — techNmak · 2026-10-17