Reddit 实测:Speedy 推理引擎碾压 Avalon,读速快 1.6 倍

MotorNetwork380 · reddit · 2026-11-02

一位本地部署用户在 4090 + 128GB DDR5 + Ryzen 9 7950x 平台上,用 IQ3S 量化跑 Qwen3(长上下文),对比了 Strata、Avalon、Speedy 三个推理引擎在 60K/120K/198K 上下文下的表现。

关键数据:

结论:作者刚配好 Avalon 就发现 Speedy,「直接碾压了 Avalon」。项目地址:github.com/DevDock-AI/Speedy。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →