3 块 3060 矿卡跑 FlashNext:strata 达 38-40 t/s 完胜 llama.cpp
MD_Reptile · reddit · 2026-10-04
Reddit 用户用三块二手 3060 12GB 矿卡搭开放矿架跑本地大模型,实测 FlashNext(配合 strata)在 IQ3 量化下达到 38-40 tokens/s,而 llama.cpp 同条件下只有 13.2 t/s,差距近 3 倍。
配置细节:Kingwin 8 卡矿架(叠放在 unraid 服务器上)、Asus prime z370p 主板、8 代 i7、64GB DDR4、1000W 电源。作者认为老矿卡跑新模型性价比很高,征集其他用旧矿卡本地部署的经验。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19