NVIDIA 为 Nemotron 3.5 Bolt 发布 LiLiCorr 投机解码 draft,加速 74B 推理
_akhaliq · x · 2026-10-17
NVIDIA 在 Hugging Face 上发布了面向 Nemotron 3.5 Bolt 的 LiLiCorr 投机解码(speculative decoding)draft 模型:它与 74B 的目标模型配对,draft 负责接受更长的 token 块以加速生成,目标模型则对每个 token 进行验证,从而在保证输出质量的前提下提升服务速度。
「Infra」频道最新
- 本地 AI 测速别只发 tok/s 截图：一份可信对比应包含 5 项指标 — EAccelerate_42 · 2026-10-17
- 4 台 Mac 实测：Draw Things 本地出图速度达 mflux 1.8 倍 — liuliu · 2026-10-17
- SurrealDB 新引擎点读达 RocksDB 28.3 倍,Agent Memory 同步上线 — mattturck · 2026-10-17
- Zuck 与 Wang 播客：Meta 超 5GW 算力背后的千亿赌注 — RylanSchaeffer · 2026-10-17
- llama.cpp v0.7.0 发布:一条命令在 128GB Mac 跑 Qwen3.8-Flash 草稿推测 — ggerganov · 2026-10-17
- NVIDIA GB300 NVL72推理吞吐几天内从7万提至约9万 TPS/GPU — NVIDIAAI · 2026-10-17