Reddit 实测:Speedy 推理引擎碾压 Avalon,读速快 1.6 倍
MotorNetwork380 · reddit · 2026-11-02
一位本地部署用户在 4090 + 128GB DDR5 + Ryzen 9 7950x 平台上,用 IQ3S 量化跑 Qwen3(长上下文),对比了 Strata、Avalon、Speedy 三个推理引擎在 60K/120K/198K 上下文下的表现。
关键数据:
- 读入速度:Speedy 约 4400-4600 tok/s,是 Avalon 的 1.6 倍、Strata 的 4 倍以上
- 生成速度:三者接近(约 100 tok/s),Speedy 略快 1-7%
- 整轮交互耗时:198K 上下文下 Speedy 比 Strata 快 72%、比 Avalon 快 31%
结论:作者刚配好 Avalon 就发现 Speedy,「直接碾压了 Avalon」。项目地址:github.com/DevDock-AI/Speedy。
「Infra」频道最新
- Crusoe CEO 回应 neocloud 债务担忧:算力需求如潮水般汹涌 — nathanbenaich · 2026-11-02
- 开源推理引擎 Kapitsa 跑分 M5 Max:35B 达 346 tok/s,180B 上 48GB Mac 跑 61 tok/s — DotaMate · 2026-11-02
- 德州在建超级工程超5000亿美元,Stargate AI枢纽占千亿 — MatthewChang · 2026-11-02
- SemiAnalysis:若禁令蔓延,2028 年美国 30.3GW 数据中心容量面临暂停风险 — Eliv_nurotic · 2026-11-02
- B300 租价一个月从 $7.9/时跌到 $4.6/时,GPU 商求人租卡 — SumitGup · 2026-11-02
- FT 图表:四大科技巨头 CapEx 狂飙是理性押注而非无脑烧钱 — luisdans · 2026-11-02