Wafer 用 AMD MI355X 服务 Kimi K3,吞吐提升 3.8 倍、成本降 71%
SumitGup · x · 2026-08-03
Wafer 宣布在 AMD MI355X 上成功服务 Kimi K3,相比 B200,吞吐量提升 3.8 倍,成本降低 71%。Kimi K3 拥有 2.8T 参数,需要超过 1.5TB 显存,单个 B200 节点无法容纳。MI355X 拥有 288GB 显存,价格约为 B300 的 2.4 倍便宜,B200 的 1.7 倍便宜。在 1024 token 输入/400 token 输出基准下,MI355X 达到 952 tok/s/node 和 118 tok/s 单流,吞吐量是 B200 的 3.8 倍以上。AMD 为 Kimi K3 提供了 day-0 支持,降低了工程难度。
所属事件:AMD MI355X运行Kimi K3实现吞吐量大涨与成本大降(3 条相关)→
「Infra」频道最新
- Nemotron 3 Nano Omni 本地实测:单机跑出 264 tok/s — ivan_bezdomny · 2026-08-03
- 全球AI算力将达2亿枚H100,Agent循环加速ASI进程 — 新智元 · 2026-08-03
- tinybox 推出双卡版主机,跑 DeepSeek 达 245 tok/s — AccBalanced · 2026-08-03
- Agent 多次工具调用导致 KV Cache 失效的排查与探讨 — CentrifugalMalaise · 2026-08-03
- 亚马逊Graviton承诺收入环比增近3倍 — Beth_Kindig · 2026-08-03
- Epoch AI 报告:单次 AI 对话能耗不及微波炉加热 10 秒 — Jsevillamol · 2026-08-03