纯 Rust GGUF 引擎 RustingStrata 在 RTX 3060 上跑 Inkling 2 Mini,生成速度达 llama.cpp 3.5 倍
Serious_Scarcity7818 · reddit · 2026-11-22
开发者在其纯 Rust GGUF 推理引擎 RustingStrata 中加入了对 Thinking Machines 的 Inkling 2 Mini(26B)的支持,并在 RTX 3060 12GB 上与 llama.cpp 做了详细对比。
- 模型结构特殊:24 层但其中 12 层每 token 跑 3 次,等效每 token 48 次层运行;IQ4NL GGUF 为 17.6GB,超出 12GB 显存
- 生成速度:RustingStrata CUDA 写出 31.2 tok/s,同卡 llama.cpp(-ngl 18)仅 8.7 tok/s,快 3-3.5 倍;但 prefill 读入比 llama.cpp 慢 1.5 倍
- 显存不够怎么办:引擎把最常用的专家留在 VRAM、其余在 CPU 算,并在运行中动态调整切分——这是写出速度快的原因
- 长上下文:40,960 token prompt 下写出降到 16.7 tok/s;llama.cpp 默认 batch 需 13.2GB compute buffer 直接跑不动,需 -ub 128(2.86 tok/s)
- 一致性验证:把 llama.cpp 的 greedy token 喂进自家 forward 逐步对比,短 prompt 24/24 一致,长 prompt 47/48
- 支持 CUDA/Vulkan/纯 CPU,无标志自动选后端;文本 only,greedy only,上下文最高 1M
已开源在 GitHub(RustingStudio/RustingStrata),欢迎 AMD/Intel 卡用户补充 Vulkan 数据。
「Infra」频道最新
- 马斯克晒仅用半颗 AI4 芯片实现无游戏引擎实时 AI 视频生成 — jamesdouma · 2026-11-22
- Sentdex 想白嫖 150 张 H100,而 Shkreli 正出钱收购同款 — Sentdex · 2026-11-22
- ECB 查出 AI 行业 4.5 万亿美元隐性债务,较上年统计高 287% — Actual__Wizard · 2026-11-22
- 推理服务商自建 GPU 卖开源模型,价格比大平台低 60% — natolambert · 2026-11-22
- Hugging Face 工程师 ngxson 发布博客:涵盖 llama.cpp OCR、AI 编程等文章 — ngxson · 2026-11-22
- 两台 DGX Spark 本地跑 321B 模型,819K 上下文缓存可跨重启 — AIFlow_ML · 2026-11-22