LayerStoRm 开源引擎:96GB 显存跑 186GiB MoE,1M 上下文 24.5 tok/s
CharacterBumblebee99 · reddit · 2026-09-07
Reddit 用户发布了 MIT 协议的实验性推理引擎 LayerStoRm：通过把 MoE 专家权重固定在主机内存、按 token 逐个取用到 GPU，实现在远超显存容量的模型上推理。
- 实测：GLM-5.3-Flash UD-Q4KXL（186 GiB 权重）在 2×RTX 5090 + 2×RTX 5080（共 96 GB VRAM，约 208 GB pinned 主机内存）上以 1M 上下文运行，8k 上下文解码 24.5 tok/s，27k 上下文 prefill 159 tok/s
- CPU 不参与计算，只负责喂数据；传输 NUMA-aware，最终瓶颈在 PCIe 带宽
- 针对 agentic coding 优化：prefix caching 支持中途 checkpoint，98% 深度处的编辑从最近 checkpoint 重新 prefill，8k TTFT 从 67.5s 降到 18.4s，97k 从约 923s 降到 79s
- 提供单命令 autoconfig，根据权重和硬件自动推导配置；目前仅支持 NVIDIA SM120（RTX 50 系）
仓库：github.com/kkontosis/LayerStoRm
「编程与Agent」频道最新
- 安全专家：让 AI 智能体按 NIST CSF 搭知识库做应急响应 — prasanna_says · 2026-10-26
- Google Cloud Knowledge Catalog 新增自学习上下文充实,为 agent 自动补全企业知识 — rseroter · 2026-10-26
- Cloudflare 推出支出上限功能早期预览,Workers 与 Durable Objects 先行 — ritakozlov · 2026-10-26
- Shopify 设计负责人谈 AI 时代工作流：设计师正变成全栈编辑 — KlausCodes · 2026-10-26
- Nace AI 推出 Drex for Search：让 Agent 精准翻页读云端文件 — testingcatalog · 2026-10-26
- Ultrametric 开源 Open Startup Repo:让 AI Agent 自动运营创业公司 — garrytan · 2026-10-26