RTX 3090 本地跑 Strata:256k 上下文生成提速到 38-61 t/s
cezarducatti · reddit · 2026-10-03
非程序员作者分享在单卡 RTX 3090 + 128GB 内存上编译运行推理引擎 Strata 的完整实测,效果远超 llama.cpp master:
性能对比(Unsloth UD-Q3KXL 量化)
- Prompt 处理:约 1,650 t/s(llama.cpp 最高 700 t/s)
- 生成速度:38 t/s @182k 上下文,短上下文约 61 t/s(原 23 t/s)
- 上下文:256k fp16 KV(原 180k)
- Expert cache 命中率与投机解码(MTP)接受率均约 76%,OpenCode 中工具调用零报错
关键改动
- 量化侧加 --compat-bf16 打包
- 针对 sm86 重编译并开启 MMQ(Q4 类 prompt 速度翻倍)
- 关闭会崩溃的 fused kernel(STRATAPFFUSED=0)
- vision encoder 移到 GPU 并重编译 CUDA 版
- 逐模型校准 --pcie-frac、--pool-workers、--spec-min-p,用 --expert-profile-save 持久化 expert cache
作者还指出 Strata 默认推荐的量化虽更快但质量较差、易报错,实际更推荐 Unsloth 的量化版本。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19