AMD MI355X 跑 Kimi K3 推理吞吐超 B300 24%,每美元 token 多 87%
AccBalanced · x · 2026-10-17
SemiAnalysis 的基准测试显示,AMD MI355X 在 Kimi K3(Kimi Moonshot 最新模型)推理服务上已可与 NVIDIA B300 竞争:8 卡 MI355X 在 AgentX 智能体编码基准上、单用户 50 tok/s 的条件下,吞吐量比 HGX B300 高 24.4%(7567 vs 6083 tok/s/GPU),每美元 token 数更是高出 87.4%。
这得益于 vLLM 的优化、AMD 定制 kernel 及硬件细节改进,填补了此前的性能差距。转发评论感叹推理优化是计算机科学中最激烈的工程挑战之一。
所属事件:AMD MI355X 跑 Kimi K3 推理吞吐超 B300 24%(2 条相关)→
「Infra」频道最新
- Unsloth 适配 RTX Spark：ARM64+Windows+CUDA 原生跑通，训练提速 2.7 倍 — danielhanchen · 2026-10-17
- SGLang Summit 一周赞助商从 11 涨到 36,Lip-Bu Tan、Lilian Weng 等出席 — BanghuaZ · 2026-10-17
- OCP 2026 实拍:AMD Helios 交换托盘搭载双 Tomahawk 6 芯片 — wkmyrhang · 2026-10-17
- Reddit 讨论：开源 LLM 推理服务商哪家强，新玩家 mango 现身 — No-Candidate8594 · 2026-10-17
- VaeZip 开源:VAE latent 数据集压缩 5-10 倍,几乎不损质量 — TensorForger · 2026-10-17
- 全球设备对时靠一个文本文件,UCLA 教授义务维护 tzdata 近 20 年 — PMinervini · 2026-10-17