Wici Infer 免费在消费级硬件跑大模型,混合 VRam+Ram+SSD
AlexDorofeev · reddit · 2026-11-17
Reddit 用户发现本地大模型方案 Wici 的团队免费提供了 Wici Infer 技术,宣称通过模型碎片化(defragmentation)把热点专家权重留在快速内存,用 VRam+Ram+SSD 三级存储在消费级硬件上服务大模型。发帖人询问是否有人实测过、其官方 benchmark 是否站得住脚,尚无实测结论。
「Infra」频道最新
- Altman 解释「重复计算」警告:多家芯片厂都以为 OpenAI 会包销产能 — toptickcrypto · 2026-11-17
- RightNow 推出推理 API:GPU 内核优化号称让 NVIDIA 性能提升 14 倍 — ycombinator · 2026-11-17
- Baseten 用 Rust/CUDA 从零打造 DeepSeek 推理引擎,agent 优化出 10% 额外提速 — baseten · 2026-11-17
- 实测打脸宣称:新聚类算法 e-means 反而比 Lance 的 k-means 慢百倍 — leland_mcinnes · 2026-11-17
- 943 个 agent 花掉 115 亿 token:97% 用在重读自己的上下文 — chrisfirst · 2026-11-17
- MCP 返回 Parquet 句柄替代原始数据行,8k 行数据从 320 万 token 压到 1700 — Daniel_Aperiodic · 2026-11-17