MoE 推理里活跃参数更重要
giffmana · x · 2026-07-20
在回复里，作者讨论了 MoE 在本地推理 + SSD 流式加载 场景下的取舍：由于只需要激活一部分参数，模型的总参数量本身影响变小，推理瓶颈更多转向实际参与计算的参数和调度方式。
他进一步强调，降低活跃参数数通常总是收益；但代价是这类方案在 batch size = 1 的本地推理里，矩阵乘法效率可能会很差。
所属事件:MoE结合SSD流式推理打破总参数限制(3 条相关)→
「Infra」频道最新
- 新论文提出 PoLar：动态跳过或循环 LLM 层级以优化推理 — ttkciar · 2026-07-22
- SK海力士CEO：明年将是行业史上供应最紧张的一年 — Beth_Kindig · 2026-07-22
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- 分析称五大科技巨头隐匿 1.6 万亿美元 AI 债务 — arto · 2026-07-22
- DeepSeek-V4-Flash 单卡 B300 批量仅 770 tok/s — Moreh · 2026-07-22
- NVIDIA 开始交付 102.4 Tbps 的 Spectrum-6 交换机 — nvidia · 2026-07-22