MoE 推理里总参数不重要了
askerlee · x · 2026-07-20
作者在回复里提出一个关于推理存储的判断：既然 MoE 让激活参数数可以变小，那么就可以通过 SSD streaming 来加载权重。
他的核心观点是：总参数量本身不再是主要约束，真正重要的是每次推理实际需要激活多少参数；因此“没有权衡”，减少 active parameters 总是收益。
所属事件:MoE结合SSD流式推理打破总参数限制(3 条相关)→
「Infra」频道最新
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27
- PyTorch 实测:ExecuTorch+Arm SME2 让端侧流式语音识别提速 2.12 倍 — PyTorch · 2026-10-27
- NVIDIA 演示投机解码加速 Jetson 端侧 LLM 推理 — NVIDIA Developer · 2026-10-27
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27