EchoMoE 只传增量不传全量,MoE 推理跨节点流量砍 58%
sivareddyg · x · 2026-11-19
EchoMoE 提出 MoE 推理的新思路:专家分布在不同节点时,LLM 推理(尤其 MoE)的瓶颈正从算力转向通信——而节点间不必传完整激活表征,只传变化量(delta)即可。效果与特点:
- 对预训练 MoE 进行改造式(retrofitting)应用,无需像 LatentMoE 那样从头训练;
- 跨节点流量减少 58%,吞吐提升 22.6%。
作者指出思路听起来简单,但工程实现需要大量打磨,预示未来 MoE 推理将由通信而非算力定义上限。
「Infra」频道最新
- JEDEC 公布 DDR6 规范:起步 12.8 GT/s、带宽提升 50%,支持 128Gb 颗粒 — gnukeith · 2026-11-19
- Datadog 联手 Baseten 微调 Qwen 3.5 9B,摘要任务提速约50倍 — baseten · 2026-11-19
- 英伟达单季营收1160亿美元,分析师因不确定性下调风险回报评级 — BenBajarin · 2026-11-19
- Oracle 联席 CEO 承认卖数据中心犯「经典错误」:忽视社区沟通 — jeremyakahn · 2026-11-19
- Surface Laptop Ultra 搭 RTX Spark 本地跑 94GB 模型,每小时完成 4 个企业 agent 工作流 — ryanshrout · 2026-11-19
- Nace 发布 71.8GB DeepSeek V4.1 Flash 编码量化,KL 散度低 39% — m4rkGS · 2026-11-19