投机解码提速 Jetson，Qwen 3.8 27B 性能近三倍

JFPuget · x · 2026-08-20

NVIDIA 介绍投机解码（Speculative decoding）技术在边缘设备（Jetson）上的应用。实测数据显示，Qwen 3.8 27B 生成速度从 13 tokens/sec 提升至 35 tokens/sec，Nemotron 3.5 Lightning 从 65 tokens/sec 提升至 115 tokens/sec。该技术通过小模型草稿和大模型验证的方式显著加速生成过程。

原文链接 →

「Infra」频道最新

• Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
• vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
• Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
• Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
• YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16
• Meta 开源 816B 参数 Muse Spark Open，Groq 预览跑出 350+ tokens/秒 — GroqLLC · 2026-10-16

更多「Infra」频道 AI 资讯 →