SemiAnalysis 推理能效图引热议：AMD MI355X 高吞吐点位为何存疑
nrehiew_ · x · 2026-10-12
SemiAnalysis 更新的 DeepSeek R1 0528 推理「单位功耗 token 吞吐 vs 交互性」对比图在 X 上引发讨论。图表对比了 GB300 NVL72、B300、B200（Dynamo TRTLLM + MTP）、MI355X（MoRI SGLang）与 Jalapeño（Teacup）等配置，按每芯片功耗（H100 1.37kW 到 VR200 3.3kW）计算吞吐。
nrehiew 提出两点观察：
- 既然对比了三种不同尺寸的模型/芯片，为何不用 MTP（multi-token prediction）？图中各配置实际都标注了 MTP，但 MI355X 的标注旁注明「准确率问题——自 2026 年 6 月 4 日起已在 SGLang 提交 issue」，其点位可信度存疑。
- 讨论延伸到各推理厂商是否在内部使用 MTP。
图表还注明： disaggregated 推理配置按 decode 芯片或 prefill 芯片单独计功耗，与其他配置不能直接比较。
所属事件:Jalapeño 能效超越 Blackwell 说法遭多方质疑(3 条相关)→
「Infra」频道最新
- USC 发布 SoloQ:免校准 4 比特量化,扩散语言模型内存降 2.61 倍 — UniversityofSouthernCalifornia · 2026-10-12
- Hugging Face 工程师晒自建存储：168.5TB 用 RAID10/RAID6 混搭 — TheZachMueller · 2026-10-12
- Ilya Sutskever：GPU 就是新的比特币 — abhiadesai · 2026-10-12
- 马斯克征募 Terafab 超级工厂人才:称产值将进入全球 GDP 前 20 — elonmusk · 2026-10-12
- GGUF Q4 与软件模拟 NVFP4 哪个好？Reddit 探讨 4bit 量化质量差异 — theqmann · 2026-10-12
- 10 个开源 GitHub 项目帮你砍掉 AI Agent 的 token 账单 — victor_explore · 2026-10-12