Zyphra 优化 MoE 专家路由通信,AMD MI300X 上提速至 2.63 倍
QuentinAnthon15 · x · 2026-10-09
Zyphra 研究团队指出，在 MoE（混合专家）模型中，把 token 传输到对应专家的通信开销可能主导总运行时间。他们利用 token 路由模式的规律来加速这一通信过程，在不改动模型本身的情况下，在 AMD MI300X GPU 上实现了最高 2.63 倍的通信提速。
「Infra」频道最新
- Mistral 被指弃用核电转用七成煤电数据中心训练开源模型 — wavefnx · 2026-10-09
- NVIDIA NeMo-DCR：1T 模型权重同步从 87.5 分钟压缩到 150 秒，提速最多 40 倍 — dair_ai · 2026-10-09
- SkyPilot 旧金山 AI Infra 聚会：GPU 调度与 SGLang 推理实战 — rseroter · 2026-10-09
- 600M 模型浏览器内 160ms 分类语音备忘，全程不上传 — iamrobotbear · 2026-10-09
- 云计算公司豪掷 50 亿美元预订数据中心 15 年,尚无一客户入驻 — YvesMulkers · 2026-10-09
- PyTorch 大会官宣 Meta 工程师将主讲 TorchTPU 跨硬件移植 — PyTorch · 2026-10-09