EAGLE-4 投机解码实测：agentic 编码场景提速最高 5.21 倍
zhyncs42 · x · 2026-10-21
LightSeek 发布 EAGLE-4 训练与服务的技术详解：用 TorchSpec 训练 drafter，用 TokenSpeed 提供完整 EAGLE-4 推理支持。EAGLE-4 是 EAGLE 投机解码家族最新一代，推测过程无损（greedy 输出与目标模型一致，采样用树形拒绝采样保持分布）。
- 性能：多轮 SPEED-Bench 上，Qwen3.8-27B BF16、4×B300 TP4、单请求 T=1 达 750 tokens/s，为无推测解码的 2.85 倍、模型自带 MTP drafter 的 1.28 倍；agentic 编码采样负载下相对无推测约 3.0 倍加速，greedy 单用户最高 5.21 倍
- 架构：沿用 EAGLE-3.1 的归一化单层 drafter，读取三路分别归一化的目标隐藏状态加 token embedding；新增自适应树/链（EAGLE-Harness 按每深度增益与实测成本决定加深或停止）、高效 LM head（低秩 top-128 精确打分）、对 SWA/MoE 模型的支持
- 流程：drafter 逐深度生成 token 树，目标模型一次前向验证 top-n 节点，接受最长一致路径外加一个奖励 token
「Infra」频道最新
- Shotwell:Starlink 已签约约 1.2 万架飞机,占全球可装机四分之一 — XFreeze · 2026-10-21
- 三星电机与美光签约 3600 亿韩元，AI 服务器基板长期供货 — demian_ai · 2026-10-21
- 8GB 显卡跑 Qwen Flash:换 STRATA+ CachyOS 后从 9t/s 飙到 48t/s — Ne00n · 2026-10-21
- David Ondrej 对谈 Ahmad Osman:本地跑 AI 全攻略与 DGX Spark 对比 — David Ondrej · 2026-10-21
- 新泽西启动超算计划:超 1.25 亿美元翻倍高校算力,NVIDIA 联合创始人站台 — Prof_DavidBader · 2026-10-21
- AI 基建公司 ASI 宣布 3.25 亿美元 C 轮,做关键物理设施的「自动神经系统」 — darian314 · 2026-10-21