EchoMoE 只传增量不传全量,MoE 推理跨节点流量砍 58%

sivareddyg · x · 2026-11-19

EchoMoE 提出 MoE 推理的新思路:专家分布在不同节点时,LLM 推理(尤其 MoE)的瓶颈正从算力转向通信——而节点间不必传完整激活表征,只传变化量(delta)即可。效果与特点:

作者指出思路听起来简单,但工程实现需要大量打磨,预示未来 MoE 推理将由通信而非算力定义上限。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →