Flint 40B 实测：单卡 RTX PRO 6000 跑出 206 tok/s
dee_hw · x · 2026-10-23
- Autonomous Labs 在双卡 RTX PRO 6000 Blackwell 工作站（96GB×2，共 192GB，vLLM 0.26.1）上实测刚发布的 Flint 40B。
- NVFP4 + SGLang 配置下：16 并发用户总输出 1240 tok/s，人均 77.5 tok/s；单用户 206 tok/s，8K prompt prefill 仅 0.3 秒，KV 池约 107 万 token。
- 数据为本地实测（单卡结果，未含双卡成绩），显示 40B 级模型在工作站级硬件上已有不错的并发服务能力。
「Infra」频道最新
- 实测：agent 重试不关连接，每任务白烧约 148 tokens — No-Peanut-6988 · 2026-10-23
- 前 Google 工程师专注本地 AI:探索开源编码组合与音乐视频生成 — julianharris · 2026-10-23
- 「智能便宜到免费用电」：Claude Opus 价格降至 1/4，智能分数翻近三倍 — haider1 · 2026-10-23
- SK Hyper 拟建 3500 亿美元韩国数据中心，正与大厂和投资方谈融资 — dinabass · 2026-10-23
- MiniMax M3.1 Flash 携手 SGLang 日内支持，单请求解码超 1K tok/s — MiniMax_AI · 2026-10-23
- MiniMax-M3.1-Flash 开源,英伟达 NeMo 提供 128 卡微调支持 — MiniMax_AI · 2026-10-23