EAGLE-4 发布:投机解码冲上 961.6 tokens/s,代码与仓库开源

zhyncs42 · x · 2026-10-21

Eagle AI Corp 发布第四代投机解码方法 EAGLE-4,主打「一个灵活 drafter 适配所有 batch size 和硬件」。在 Qwen3.8-27B(BF16,4×B300,TP4,单请求,T=0)上配合 TokenSpeed 达到 961.6 tokens/s 的解码速度。推理代码已在 GitHub 开源(含论文 PDF 与 Qwen3.8-27B 的 drafter 权重),支持 vLLM/SGLang 等引擎生态。

所属事件:EAGLE-4 投机解码开源,解码速度达 961.6 tokens/s(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →