寻找 STRATA 之外的 MoE 专家 GPU/RAM 换入换出方案
mossy_troll_84 · reddit · 2026-10-19
发帖者在研究类似 STRATA 的方案:用决策模型(如 JEV)来编排 MoE 模型专家在 GPU 与内存/交换分区之间的换入换出。他在 Reddit 和 Google 上都没找到有前景的替代或分支项目,于是向社区求问是否有类似方案,希望在 STRATA 之外再挤出一些 token 吞吐。
「Infra」频道最新
- 开源 ai-memory 让 Claude Code、Codex 等 20 多个 AI 编码工具共享同一份记忆 — alex_verem · 2026-10-19
- OpenRouter 数据:美国模型 token 消耗停滞 8 周,中国供应周消耗 79.2T — SumitGup · 2026-10-19
- CMU 研讨会详解 Floe 引擎:弃缓冲池、自研内核跑赢 io_uring — sh_reya · 2026-10-19
- 数据中心仅占全球一次能源 0.85%,用数据反驳能耗恐慌论 — DarinFeinstein · 2026-10-19
- vLLM 0.32 新增结构化决策 API:读首 token 概率出答案 — AccBalanced · 2026-10-19
- GPU 定价真相:决定成本的是资本利差而非现货租金 — AccBalanced · 2026-10-19