单张 4090 跑满 552B DeepSeek-V4.1-Flash：27 tok/s、512K 上下文
indrasmirror · reddit · 2026-10-18
开发者 Indras-Mirror 发布基于 Strata 的推理引擎 Xolotl，能在单台游戏 PC 上运行 552B 参数的 DeepSeek-V4.1-Flash：
- 硬件：单张 RTX 4090（24GB）+ Ryzen 7 5700X + 90GB DDR4 + NVMe，无专业设备
- 原理：权重分散在 VRAM、锁页内存和 NVMe 上，每个 token 按需拉取实际用到的专家
- 实测：解码 27 tok/s，prefill 180-320 tok/s，支持 512K 上下文；HumanEval 21/21、工具调用 10/10、agentic bug 修复 3/3（真实 server、思考模式开启）
- 同引擎还可运行 GLM-5.3-Flash、Qwen3.8-Flash-Next、Qwen3.8-27B
作者已放出 152GiB 的去审查量化版（GSQ），并正在下载 510GB 的新版 DeepSeek-V4.1-Flash-1017——架构与 config 与 V4.1 完全一致（已核对 tokenizer 相同），预计几天内完成重新校准与量化后发布。项目开源：github.com/Indras-Mirror/Xolotl。
「Infra」频道最新
- Strata 0.1.45 前默认贪心解码致循环，附 4-bit 质量与速度实测取舍 — Distinct-Pie2389 · 2026-10-18
- 6GB 显存跑 agent 集群：毫秒级微模型当工蚁，大模型只管决策 — everettplays · 2026-10-18
- Rust 版 Git 服务器基于 S3 跑出每秒 7600+ 并发推送 — blaizedsouza · 2026-10-18
- 五台设备拼出大 MoE 模型：37 tok/s 跑 60k 上下文 — StayLameBro · 2026-10-18
- Ollama 美国节点即将上线,DeepSeek-V4.1-Flash-1017 将可直连 — gaganghotra_ · 2026-10-18
- Intel Arc A380 上 43 分钟视频转 AV1 仅需 2 分半,体积减 77% — haydendevs · 2026-10-18