AMD MI355X 上跑出 2100+ tok/s，推理引擎协同设计削平协调税
JiaZhihao · x · 2026-10-28
在 AMD MI355X 上做低延迟 LLM 推理的工程复盘：硬件架构带来三大协调开销——HIP 缺少 PDL 等价物无法重叠依赖内核、分布式 L2 引入跨 die 流量、无 NVSwitch 式网内规约导致最多 4 倍的跨 GPU 通信。团队通过推理引擎、内核与编译器协同设计来解决这笔「协调税」。结果：8× MI355X 上以完整模型质量跑 DeepSeek V4.1 Flash 达到每用户 2100+ tokens/s，比同硬件现有开源方案快 2.8 倍；博客还给出 roofline 分析揭示的进一步优化空间。
「Infra」频道最新
- LiquidAI 发布 2B 全模态开源模型，llama.cpp 当天适配 — ilintar · 2026-10-28
- Mojo/MAX 上手手机本地推理，4 天比肩 llama.cpp — Cane_P · 2026-10-28
- 开发者用 EmbeddingGemma 2 搭实时嵌入端点：文本 20ms，全程只跑 MacBook CPU — generativist · 2026-10-28
- Qwen3.8 27B 统计无损量化 GGUF 上架 Hugging Face,作者分析藏付费墙 — Dany0 · 2026-10-28
- Nebius 实测:8 张 GPU 拆成 8 份跑 Cosmos,出片量多 42.5% — shashib · 2026-10-28
- AI 时代数据中心成安全新前线：网络与物理威胁加速融合 — ChuckDBrooks · 2026-10-28