NVIDIA 专家：多 token 技术已成推理优化标配
PavloMolchanov · x · 2026-08-11
NVIDIA 技术专家 Pavlo Molchanov 透露，多 token 预测等技术已成为提升推理效率的“第零天”标配，特别是在 DGX Spark 工作负载中表现优异。
他特别指出，自 dflash 推出仅半年后，扩散草稿器（diffusion drafters）已迅速成为行业常态。此番讨论源于 NVIDIA 近期对 Nemotron 系列小型模型（30B-A3B）的权重更新，该更新通过大模型蒸馏等手段实现了 70% 的性能飞跃。
「Infra」频道最新
- Ling-3.0-flash 量化实测：MoE 架构让解码速度几乎无损 — AcanthisittaOk1699 · 2026-08-12
- NVIDIA 路由库实测：编码智能体成本降 59%、耗时减 32% — sudoraohacker · 2026-08-12
- SD视频生成优化实测：CK加速使耗时大降，但提示词遵循变差 — switch2stock · 2026-08-12
- M4 Max 浏览器跑 30B 模型达 25 tok/s，自定义 WebGPU 内核立功 — xenovatech · 2026-08-12
- 开发者询问OpenAI：能否用自家地下室GPU运行ML实验？ — daniel_mac8 · 2026-08-12
- LMSYS发布统一Radix缓存：混合模型前缀缓存新方案 — ying11231 · 2026-08-12