AMD MI355X单机部署Kimi K3,吞吐量达B200方案3.8倍,性价比超B300
机器之心 · wechat · 2026-08-04
机器之心报道,WaferAI在AMD MI355X上部署了Kimi K3模型,8张MI355X即可单机部署,而B200需16张跨两台服务器。实测总吞吐量952 Token/s,单用户生成速度118 Token/s,单节点吞吐量约为16卡B200方案的3.8倍,性价比超过B200和B300。ROCm支持良好,仅需少量兼容性修复。但TTFT初始较慢,通过补零优化注意力内核后显著改善。文章指出,大模型时代显存容量成为关键,AMD的大显存策略正成为系统优势。
「Infra」频道最新
- Transformers.js 周下载量破 200 万,12 周内翻倍 — nicodotdev · 2026-08-04
- RTX 5070 Ti 跑 MiniMax H3:10秒视频生成仅需18分钟 — Budget_Stop9989 · 2026-08-04
- NVIDIA Sol Engine 助力 MiniMax H3:端到端推理提速 3.95 倍 — KissMyShinyArse · 2026-08-04
- AI Shipping Labs 推理工程读书会:8月10日启动 — Al_Grigor · 2026-08-04
- FMS 2026存储大会开幕,三星SK海力士等共话AI愿景 — AccBalanced · 2026-08-04
- AMD迎战AI算力财报周,分析师指开源模型将冲击闭源利润 — AccBalanced · 2026-08-04