RustingStrata 实测:比 llama.cpp 快 29%,质量几乎无损
Serious_Scarcity7818 · reddit · 2026-11-11
RustingStrata 是 RustingStudio 开源的纯 Rust MoE 推理引擎,面向在 12 GB 显存的消费级 GPU(如 RTX 3060)上跑 Qwen GGUF 模型,宣称 prefill 达 llama.cpp 的 2 倍。发帖者针对「快是不是靠牺牲质量」的质疑,给出了自测数据:
- 速度:同一 Qwen IQ2XS 量化文件、同一 prompt、128 token 回复,RTX 3060 12 GB / Ryzen 7600X 上六次热跑,RustingStrata 生成 33.0 tok/s(区间 29.3–35.8)vs llama.cpp 25.6 tok/s(23.2–26.9),快约 29%;首 prompt 读取 109 tok/s vs 31 tok/s
- 质量:对 9,180 个 WikiText-2 token 的对比中,两者困惑度 2.9212 vs 2.9156(差距在噪声级),最可能下一 token 一致率 96.78%,平均 KLD 0.0098
作者强调这只是一个模型、一种量化、一张卡的结论,不代表在所有配置上都赢,并附上了 repo 链接供复现。
所属事件:RustingStrata 实测：比 llama.cpp 快 29%，质量几乎无损(2 条相关)→
「Infra」频道最新
- 德州农工大学新建全美最强学术超算之一，AI 方向招聘 10 个教职 — yuz9yuz · 2026-11-13
- 腾讯被指为 DeepSeek 最大单一金主，中国算力正走向集中 — teortaxesTex · 2026-11-13
- 数据架构入门图解:六模块讲清集中式/去中心化/混合三种架构取舍 — nevrekaraishwa2 · 2026-11-13
- 爆料称 Azure 底层架构长期不稳,重大故障已无明确根因 — thedealdirector · 2026-11-13
- NAVER AI Lab 推出 FOAM 优化器：一半状态内存追平 SOAP 与 Muon — naver-ai · 2026-11-13
- 微软服务大面积中断，洛杉矶县警局邮件与通讯受阻 — Kyrannio · 2026-11-13