Reddit 热议:exl3/tabbyapi 被忽视?压缩率和速度优于其他后端

C1oover · reddit · 2026-08-17

Reddit 用户 C1oover 发帖询问为何 exl3/tabbyapi 后端不受关注。他测试多个后端后发现,exl3 在压缩率(每比特)上优于其他方案,且在 3090 上运行 Qwen 27 和 Gemma 31 比 llama.cpp 和 vLLM 优化版更快。他质疑是否自己遗漏了什么,还是该后端在 subreddit 中被遗忘。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →