MoE 推理里活跃参数更重要
giffmana · x · 2026-07-20
在回复里，作者讨论了 MoE 在本地推理 + SSD 流式加载 场景下的取舍：由于只需要激活一部分参数，模型的总参数量本身影响变小，推理瓶颈更多转向实际参与计算的参数和调度方式。
他进一步强调，降低活跃参数数通常总是收益；但代价是这类方案在 batch size = 1 的本地推理里，矩阵乘法效率可能会很差。
所属事件:MoE结合SSD流式推理打破总参数限制(3 条相关)→
「Infra」频道最新
- Anthropic 营收三年暴涨 4000 倍,上半年已入账 163 亿美元 — daniel_mac8 · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27
- YC 系创企 Hopper 出击语音推理：TTFT 80ms、价格为 GPT-4.1 的 15% — ycombinator · 2026-10-27
- a16z 数据:A100 租赁价格 2026 年仍在涨,旧卡并未贬值 — VraserX · 2026-10-27
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27