RustingStrata 实测：比 llama.cpp 快 1.29 倍，质量损失在噪声范围内
Serious_Scarcity7818 · reddit · 2026-11-11
Reddit 用户用同一 Qwen GGUF IQ2XS 量化模型、相同 prompt、greedy 解码、128 tokens，在 RTX 3060 12GB 上对比纯 Rust 的 MoE 推理引擎 RustingStrata 与 llama.cpp：
- 生成速度 33.0 vs 25.6 tok/s（约 1.29 倍），6 次运行区间 29.3–35.8 vs 23.2–26.9；prefill（首 prompt 读取）109 vs 31 tok/s，差距接近 3.5 倍（配图称 12GB 卡上跑 Qwen3.6-35B-A3B prefill 达 2 倍于 llama.cpp）。
- 质量检验（同一批 9,180 个 WikiText-2 tokens）：困惑度 2.9212 vs 2.9156，最高概率下一 token 一致率 96.78%，平均 KLD 0.0098——差异均在运行噪声内。
结论：在该模型、该量化、该 GPU 上速度提升且无可测质量损失；作者强调不外推为 RustingStrata 全面占优。
所属事件:RustingStrata 实测：比 llama.cpp 快 29%，质量几乎无损(2 条相关)→
「Infra」频道最新
- 传英伟达500亿美元AI融资工具遭施压，被要求提高25%残值担保 — dinabass · 2026-11-13
- AI工程师GPU底层教程：从token流转、显存计算到量化与多卡切分 — kmeanskaran · 2026-11-13
- 台积电证实员工信息遭泄露：经云服务商外流，未发现自家系统被入侵 — TinfoilTricorn · 2026-11-13
- CoreWeave Q3 营收 36.6 亿美元涨 168%,签约 Wayve 训练 AI Driver — thursdai_pod · 2026-11-13
- 67B 图像模型跑进 16GB MacBook Air:MLX 移植峰值内存降至约 2.5GB — FlimsyBrief4232 · 2026-11-13
- SimpleHC：去掉残差混合，仅 2.4% 额外训练时间逼近 mHC 性能 — dots-studio · 2026-11-13