纯 Rust GGUF 引擎 RustingStrata 在 RTX 3060 上跑 Inkling 2 Mini,生成速度达 llama.cpp 3.5 倍

Serious_Scarcity7818 · reddit · 2026-11-22

开发者在其纯 Rust GGUF 推理引擎 RustingStrata 中加入了对 Thinking Machines 的 Inkling 2 Mini(26B)的支持,并在 RTX 3060 12GB 上与 llama.cpp 做了详细对比。

已开源在 GitHub(RustingStudio/RustingStrata),欢迎 AMD/Intel 卡用户补充 Vulkan 数据。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →