Wici Infer 免费在消费级硬件跑大模型,混合 VRam+Ram+SSD

AlexDorofeev · reddit · 2026-11-17

Reddit 用户发现本地大模型方案 Wici 的团队免费提供了 Wici Infer 技术,宣称通过模型碎片化(defragmentation)把热点专家权重留在快速内存,用 VRam+Ram+SSD 三级存储在消费级硬件上服务大模型。发帖人询问是否有人实测过、其官方 benchmark 是否站得住脚,尚无实测结论。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →