单卡 RTX 5090 四夜训练 EAGLE-3 投机解码头，Gemma-3-27B 推理提速超 50%
max_paperclips · x · 2026-08-11
开发者 witcheer 分享了如何使用单张 RTX 5090 显卡，在四个晚上从零训练出一个针对 Gemma-3-27B 的 EAGLE-3 投机解码头（drafter）。
该解码头基于 716M 参数的单层 Llama 架构，结合 sglang 框架进行验证。实测显示，在完全不改变输出质量的前提下，模型推理获得了显著加速：
- 代码生成：速度提升 1.44 倍（从 59.6 tok/s 升至 89.0 tok/s）
- 重复文本：提升 1.52 倍
- 散文生成：提升 1.33 倍
- 对话聊天：提升 1.23 倍
作者还对比了不同的树状推测配置，指出 tree-3-4-8 提供了最佳的净加速效果，并已将模型在 Hugging Face 上开源。
「Infra」频道最新
- OpenAI 致信德州州长，探讨负责任的 AI 基础设施建设 — ArtificialOther · 2026-08-11
- RTX Pro 6000 Blackwell 架构 NVFP4 GEMM 优化指南 — HanGuo97 · 2026-08-11
- CoreWeave 进军亚太：将在印尼建设 360MW 数据中心 — Beth_Kindig · 2026-08-11
- OpenAI 被指削减云服务用量，Datadog 大客户续约后降级 — SumitGup · 2026-08-11
- 曝微软计划“大幅”增产下一代自研 AI 芯片 — thoefler · 2026-08-11
- fal 签下 3 家生成式 AI 大厂，正扩充 H200 与 B300 算力 — gorkem · 2026-08-11