Rust 写的 GGUF 引擎 RustingStrata 1.3.0:大模型显存不够也跑得动
Serious_Scarcity7818 · reddit · 2026-11-23
作者发布 Rust 编写的 GGUF 推理引擎 RustingStrata 1.3.0,定位是跑超出显存容量的大模型:常用 expert 留在 GPU,其余在 CPU 上运行。
- 新增 rustingstrata interface 交互式界面:自动扫描本机目录、Hugging Face 缓存和 llama.cpp 缓存里的模型,引导选择运行模式(终端聊天/浏览器聊天页/OpenAI 兼容 API/测速)与三个设置项,并打印完整命令供复制。
- 其他更新:单服务器聊天页支持 Inkling 2、Hy4-flash、GLM、DeepSeek、Gemma 4 多模型加载;Q40 量化模型显存占用约减半;新增 --auto-unload 空闲自动卸载。
- 提供 Linux/Windows 预编译二进制,NVIDIA 走 CUDA,AMD/Intel 走 Vulkan,基准数据在 docs/BENCHMARKS.md。
「Infra」频道最新
- 苹果高管 Appenz:Agent 潮流正在填平 NVIDIA 的 CUDA 护城河 — appenz · 2026-11-23
- Shopify CEO 盛赞黄仁勋:英伟达的产品是「让石头思考」 — MartinGTobias · 2026-11-23
- 200 美元 Google AI Ultra 订阅可独占 96GB Blackwell GPU 连跑 10 天 — kieranklaassen · 2026-11-23
- 特斯拉 AI5 芯片性能提升 50 倍,将率先搭载 Optimus 人形机器人 — markjeffrey · 2026-11-23
- 4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文 — Mr_Moonsilver · 2026-11-23
- OpenAI 图表泄露 GPT-6 Astra 与内部模型,Domingos 质疑数百亿美元收益 — pmddomingos · 2026-11-23