实测:Strata 预填充比 llama.cpp 快 26 倍,解码提速 3 倍
relmny · reddit · 2026-10-13
Reddit 用户 relmny 分享了本地推理引擎 Strata 与 llama.cpp(Unsloth fork)的实测对比,模型同为 qwen3.8-flash-next-unsloth-ud-q4kxl、fp16 全 KV、约 13 万上下文:
- 预填充(prefill):38,968 tokens 的 prompt,llama.cpp 耗时约 10 分钟(62.4 tok/s 的 prompt eval),Strata 仅 23 秒读完,快约 26 倍
- 解码(TG):Strata 稳定在 57-58 tok/s,约为 llama.cpp(18.8 tok/s)的 3 倍
- 使用同一模型文件,llama.cpp 侧加 --kv-resident 32768 后速度也未见明显改善
作者称已连续使用 Strata 约 10 天,结果稳定,且最新版本进一步提速(此前约 45 tok/s)。日志显示其 expert cache 命中率 94.5%,能通过 PCIe 缓存路由专家。作者仍喜欢 llama.cpp,但已开始转向 Strata。
「Infra」频道最新
- 实时语音 Agent 模型怎么选:Reddit 汇总专有部署实测,LLM 延迟可从 1 秒降到 0.3 秒 — Natural-Chemical1513 · 2026-10-13
- 预测：Opus 5.5 将能在 24GB 单卡上本地运行 — TheZachMueller · 2026-10-13
- 纯 C 推理引擎 Colibri 开源:消费级硬件跑 2.8T 参数 MoE 模型 — tom_doerr · 2026-10-13
- AI agent 该跑在哪:云还是本地是个错误问题,应按组件拆分 — DavidLinthicum · 2026-10-13
- RTX 5090 传停产,ComfyUI 用户寻找替代 GPU — Impressive-Scene-562 · 2026-10-13
- 在荒野湿地自建对等网络跑到 350Mbps,还让 Agent 顺手做了官网 — vincent_koc · 2026-10-13