MoE 让 SSD 流式推理可行
francoisfleuret · x · 2026-07-20
作者认为，借助 MoE，推理时可以做 SSD streaming。由此他得出一个结论：总参数量基本不重要，真正决定收益的是活跃参数更少带来的效率提升。
他的核心判断是：在这种设定下，不存在明显的权衡；把每次实际参与计算的参数数目压低，永远是收益。
所属事件:MoE结合SSD流式推理打破总参数限制(3 条相关)→
「Infra」频道最新
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- 9B 本地模型干机械活,规划交给大模型:一套省 token 的编程 agent 分工法 — Electrical_Ninja3805 · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- SpaceX 锁定 400 亿美元 GPU 融资，号称史上最大规模 — TechCrunch AI · 2026-10-27