推测解码 EAGLE-4 开源,单一 Drafter 适配全批次与硬件
rohanpaul_ai · x · 2026-10-21
EAGLE-4 官方推理代码已在 GitHub 开源(目前 162 star),定位是「One Flexible Drafter for All Batch Sizes and Hardware」。配套发布了 Qwen3.8-27B 的 draft 模型、论文 PDF 与文档,支持 vLLM、SGLang 等主流推理栈,topics 涉及 speculative-decoding 与 LLM 推理加速。仓库含 docker 配置、eagleharness 工具链与测试,并单独提供商用许可协议文件,说明可在商用场景申请授权。
「Infra」频道最新
- DeepSeek 据称在华为昇腾 950 上实现超高效大规模推理 — teortaxesTex · 2026-10-21
- 路透独家：字节、阿里、腾讯向英伟达下单超 350 亿美元芯片 — Scobleizer · 2026-10-21
- DeepSeek 曝单集群日处理 155 万亿 token,毛利约 82% — ssh4net · 2026-10-21
- M1 Max 64GB 跑本地 32B-120B 模型：吐槽 LM Studio 报错与选型难 — Food4Lessy · 2026-10-21
- vLLM 宣布复现 DeepSeek 推理性能，每 GPU 时收入达 39 美元 — vllm_project · 2026-10-21
- AMD 携手 EAGLE 团队推出 EAGLE-4：MI355X 上投机解码最高提速 1.6 倍 — hongyangzh · 2026-10-21