将 MoE 模型卸载至 RAM 运行会遭遇极慢的 Prefill
former_farmer · reddit · 2026-08-24
社区讨论指出，虽然将 MoE 模型卸载到 RAM 可以在小显存显卡上获得不错的解码速度，但 Prefill（预填充）阶段会变得极慢，严重影响使用体验。用户们正在确认这一现象是否普遍存在。
「Infra」频道最新
- 在 PrimeIntellect 训练，用 Modal 渲染 rollout — willcb · 2026-08-24
- GPU 传输速度差 25 倍，背后是真金白银 — AccBalanced · 2026-08-24
- 英特尔预期将拿下微软、高通等美厂 ASIC 与 CPO 订单 — BenBajarin · 2026-08-24
- HotChips 趋势：所有加速器公司都将押注 3D DRAM 或 zHBM — elonmusk · 2026-08-24
- 2.7-bit量化把Llama 3.2 Vision 11B压到3.7GB上手机 — Luka Ribar · 2026-08-24
- DSCO Router 推出多模型统一网关，支持自带账号自动路由 — arthurcolle · 2026-08-24