antirez 详解推理系统预加载策略:SSD 流式加载秒级掩盖专家缓存失效
antirez · x · 2026-09-11
antirez 讨论其本地推理系统的调度细节:完全常驻的 decoder 会挤掉专家缓存,但由于新的 SSD 流式加载实现很好,加载延迟在几秒内即可被掩盖,影响不大。
补充说明(分场景策略):
- 小规模 prefill 走单 token 路径和专家缓存,与 decoding 一致
- 较大 prefill 用 layer-major 加载,Layer N+1 的加载被 Layer N 的处理所隐藏
- 超大 prefill 才切换到完全常驻 encoder
作者认为这套分级策略对各类 prefill 都接近最优。
所属事件:antirez 在 Mac 上本地跑 DeepSeek v4.1 Flash：单机 15 t/s、双机 25 t/s(12 条相关)→
「Infra」频道最新
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26
- Ubicloud 发文修复 vLLM 工具调用准确率问题 — petrusenko_max · 2026-10-26
- Meta 批准无投票权 C 类股，2026 年资本开支指引达 1350–1450 亿美元 — thione · 2026-10-26