3 张 V100 跑 27B 稠密模型 sFNX 实测 114-300 tok/s
jfinkpottery · reddit · 2026-10-31
Reddit 用户分享用 sFNX 在 3 张 V100 上跑 Qwen 27B 稠密模型的经验：依赖 P2P 支持，Q8 量化下按 prompt 不同可达 114-300 tok/s，6 路并发合计 224 tok/s。要点：
- 有用户在解锁的 3090 上跑通 flash-next，但消费卡默认 P2P 支持不足，可能需自定义驱动和固件
- 单卡或双卡场景下 1cat-vllm 同样好用（sFNX 拒绝单卡运行），速度与量化各有取舍
- 3 卡以上且 P2P 速度良好的配置下，sFNX 是目前唯一选择，且比任何双卡方案有明显提升
「Infra」频道最新
- Clover-35B-A3B 量化后仅 29.4GB，64GB Mac 跑出 42 tok/s — viveky259 · 2026-10-31
- Liquid Agent 登陆 Linux：LFM3 小模型全本地运行，一条命令装好 — JosephJacks_ · 2026-10-31
- 纯本地办公 AI 栈：OCR、Agent、RAG、语音六个开源模型组合 — HowDevelop · 2026-10-31
- a16z 数据：GPU 租金三个月涨 106%，token 价格反跌 58% — a16z · 2026-10-31
- vLLM nightly 支持 PLE 磁盘卸载,PR 标签现「Qwen4Exp」引 Qwen4 猜想 — rmhubbert · 2026-10-31
- 按分钟租 GPU 渲染只要 1 美元:一人 AI 工作室工作流曝光 — r0ck3t23 · 2026-10-31