RustingStrata 在 12GB 显卡跑 Flint 40B:解码 64.6 tok/s,快 33%
Serious_Scarcity7818 · reddit · 2026-11-14
作者在 RTX 3060 12GB(配 30GB 内存)上对比了 RustingStrata 与 llama.cpp 跑同一 Recursive Flint UD-Q5KXL(27.9 GiB)的推理表现。
- 热机解码速度:64.6 tok/s vs llama.cpp 的 48.6 tok/s,快约 33%;4K prompt 预填充约 1.14–1.30k tok/s vs 0.85–1.02k tok/s。
- 关键优化:模型装不进 12GB 显存,大量专家权重需从系统内存换入。RustingStrata 1) 根据回复内容动态调整专家放置策略,而非沿用 prompt 的路由模式;2) 及时释放已拷入显存的专家占用的内存页,为仍需换入的专家保留缓存。
- 作者做了质量基准测试,认为 RustingStrata 不损失输出质量,速度提升来自针对特定模型的代码优化,而 llama.cpp 为通用引擎牺牲了速度。
- 作者还认为 Recursive Flint 优于 Qwen3.6:35-a3b,可能是后者的现代替代品。
基准详情见仓库 docs/BENCHMARKS.md(RustingStrata 1.2.2,llama.cpp b12191)。
「Infra」频道最新
- 分析师警告:超大规模云厂商或垄断 AI 算力,初创融资恐枯竭 — BenBajarin · 2026-11-15
- Dario Amodei：算力采购是 Anthropic 最深的商业难题 — _AustinCalvert_ · 2026-11-15
- Anthropic IPO 路演图引热议：Mythos 或可用零头算力重训 — Witty_County5128 · 2026-11-15
- Google 开源 Agent 编排运行时 AX，类 K8s 声明式管理大规模智能体 — rakyll · 2026-11-15
- 开发者发布 BioEmu2 加速 fork:上下文投影复用+torch.compile+CUDA Graphs — FrankNoeBerlin · 2026-11-14
- 公民分布式 LLM 训练实测：仅 443 端口、safetensors 防投毒 — OrganizationTop9026 · 2026-11-14