3千行 PyTorch 从零写投机解码引擎,H100 上加速 1.94 倍
hongyangzh · x · 2026-09-18
开发者 antvedaya 宣布从零实现了一个投机解码推理引擎，约 3000 行代码，基于 PyTorch + FlashInfer。
- 技术要点:Paged KV Cache、continuous batching、CUDA graphs、EAGLE-3 的 chain + tree 验证结构
- 性能:单批(batch 1)在 H100 上实现 1.94× 加速
- 正确性:输出与贪心解码逐字节一致
作者表示技术博客即将发布。
「Infra」频道最新
- Azure 东部区域故障致 ChatGPT、Claude、Grok 同时宕机 — DavidLinthicum · 2026-09-18
- 会尖叫的数据中心玩偶 Bezzy：AI 反噬情绪的萌系讽刺周边 — nordicinst · 2026-09-18
- BONSAI SWARM 上线:浏览器里的点对点推理网络,夜间出借 GPU 换积分 — airesearch12 · 2026-09-18
- 华为董事长罕见公开承认 AI 芯片产能不足以满足国内需求 — ohlennart · 2026-09-18
- 麒麟 9030S 拆解确认 N+2 工艺，9050 Pro 已用 N+3 与 N+2 混合键合 — teortaxesTex · 2026-09-18
- AWS 推出 HyperPod 推理网关：GPU 感知路由，首 token 延迟最多降 82% — AWS ML Blog · 2026-09-18