2500 美元本地装机实测：27B 模型跑出 150 tokens/s
casper_hansen_ · x · 2026-11-05
casperhansen 分享了一套约 2500 美元的本地推理配置在各量化档位下的实测速度：
- Qwen3.8 27B（3.5bpw）：约 150 tokens/s
- DeepSeek V4.1 Flash 1017（2.25bpw）：约 15 tokens/s
- GLM 5.3 Flash（3.05bpw）：约 10 tokens/s
作者强调这套配置可换来「无限私有 tokens」且上下文容量可观，并计划升级后在低速档达到 25 tokens/s。配图还展示了 nvme 与 nvme-exact 两种模式在不同上下文长度（1k/8k/32k）下的 decode 速度对比。
所属事件:2500 美元本地装机实测：27B 模型 150 tokens/s，GLM-5.3-Flash 可跑(2 条相关)→
「Infra」频道最新
- Neocloud 与 Powered Shell 股价下跌引分歧：不确定性步进抬升 — toptickcrypto · 2026-11-05
- Unsloth 发布 Qwen3.8-Flash-Next 量化版，精度提升 10-15% — danielhanchen · 2026-11-05
- Arena 数据：任务越贵 Gemini 4 Carbon 成本优势越大，达 GPT-6 Astra 的 1/3.4 — arena · 2026-11-05
- 内存涨价冲击苹果:假期季毛利率将从 48% 降至 45% — rohanpaul_ai · 2026-11-05
- 从业者观点:AI Infra 围绕 token 构建,像素与 3D 应成一等公民 — prateekj · 2026-11-05
- 3 倍杠杆芯片 ETF SOXL 日成交 34 亿美元,超多个加密币永续市场 — tomwanhh · 2026-11-05