MoE 推理里总参数不重要了
askerlee · x · 2026-07-20
作者在回复里提出一个关于推理存储的判断：既然 MoE 让激活参数数可以变小，那么就可以通过 SSD streaming 来加载权重。
他的核心观点是：总参数量本身不再是主要约束，真正重要的是每次推理实际需要激活多少参数；因此“没有权衡”，减少 active parameters 总是收益。
所属事件:MoE结合SSD流式推理打破总参数限制(3 条相关)→
「Infra」频道最新
- 新论文提出 PoLar：动态跳过或循环 LLM 层级以优化推理 — ttkciar · 2026-07-22
- SK海力士CEO：明年将是行业史上供应最紧张的一年 — Beth_Kindig · 2026-07-22
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- 分析称五大科技巨头隐匿 1.6 万亿美元 AI 债务 — arto · 2026-07-22
- DeepSeek-V4-Flash 单卡 B300 批量仅 770 tok/s — Moreh · 2026-07-22
- NVIDIA 开始交付 102.4 Tbps 的 Spectrum-6 交换机 — nvidia · 2026-07-22