8 张 B300 跑 Kimi K3:每百万 token 成本 190 美元,附完整部署账单
OtherRaisin3426 · reddit · 2026-08-23
发帖者实测在 Modal 上用 8 张 B300($56.79/小时)部署 2.8T 参数的 Kimi K3,vLLM + 8 路张量并行 + 原生 MXFP4:
- 冷启动约 27 分钟(需加载 1.56 TB、JIT、51 次 CUDA graph 捕获)
- TTFT 0.92–1.02 秒,解码稳定 92 tok/s,4 个 prompt 平均 83 tok/s
- 折合约 $190/百万输出 token;一次完整跑约 $36 GPU 时间;保持热机一天要 $1,363
对比 Unsloth 的 1-bit Dynamic GGUF(594 GB,可用 llama.cpp 塞进 8×A100-80GB,$19.99/小时,便宜 2.8 倍):只有约 9 tok/s、TTFT 7–60 秒,折合约 $620/百万 token,单 token 反而贵 3.3 倍。1-bit 量化下质量尚可(算术正确、行文连贯)。完整配置、Modal 部署文件与原始 benchmark JSON 见其博客。
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16