AMD MI355X 集群实测：11 节点跑 Llama 2 70B 破百万 tokens/s
AntDX316 · x · 2026-08-05
AMD MI355X GPU 在多节点集群推理上展现出强劲性能。据 Grok 分享的测试数据，11 个节点（87 张 MI355X）运行 Llama 2 70B 模型时，在线推理速度达到 101.6 万 tokens/s，离线推理速度达 104.2 万 tokens/s，集群扩展效率高达 93%–98%。此外，单节点 MI355X 的推理速度也达到了 10 万 tokens/s 的标记。
「Infra」频道最新
- ComfyUI 节点妙用:完美解决 MiniMax H3 本地爆显存 — Available-Confusion2 · 2026-08-05
- a16z：电力成AI产业瓶颈，中国发电量超美国两倍 — sujingshen · 2026-08-05
- 低配电脑跑大模型:不同 AI 给出的 ComfyUI 启动参数大乱斗 — Hi7u7 · 2026-08-05
- MiniMax-H3 本地部署：4-bit 量化仅需 8GB 显存 — petewoodbridge · 2026-08-05
- Niantic Spatial 为加州城市构建实体 AI 数字孪生 — petewoodbridge · 2026-08-05
- Ubuntu 26.04 LTS 推出机密计算硬件启用新模型 — jedisct1 · 2026-08-05