SlimServe 让 8 张 3090 跑 Qwen 3.8 Flash Next,解码达 1200 tok/s
QuixiAI · x · 2026-09-06
开源推理项目 SlimServe(基于 ds4/vllm)展示了在 8 张 RTX 3090(开启 P2P)上运行 Qwen 3.8 Flash Next 的推理成绩:批量 C1 解码约 140 tok/s,C32 约 1200 tok/s。作者称在 modest 硬件上实现了「惊人的推理吞吐」,为低成本本地部署提供了参考方案。
所属事件:Eric Hartford 解锁消费卡 P2P 并开源 SlimServe(10 条相关)→
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23