社区讨论:EXL3 因缺乏 RAM 溢出支持而热度减退

silenceimpaired · reddit · 2026-08-17

Reddit 用户讨论了量化推理工具 EXL3 在社区中关注度下降的现象。虽然 EXL3 在 Token 生成速度和模型支持上常优于 llama.cpp,且通过 TabbyAPI 提供 OpenAI 兼容接口,但其不支持 RAM 溢出导致无法运行大型 MoE 模型。作者呼吁社区关注,以鼓励开发者继续维护这一备选方案。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →