4 张 H200 跑 DeepSeek v4.1:2400 tps,单卡 600 tok/s

teortaxesTex · x · 2026-11-01

开发者 @0xSero 实测:4 张 H200(功耗限制、无量化)部署 DeepSeek v4.1-flash,可支撑 16 个并发用户、每人 150+ tok/s,整套成本约 12 万美元。teortaxesTex 补充:总计约 2400 tps,即单卡 600 tok/s,但感叹其 scaling 表现很差——DeepSeek 是为数据中心设计的,希望 nano 版本能改变这一局面。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →