网友自建推理引擎跑 DeepSeek V4.1 Flash：默认 512K 上下文、KV Cache 按需分配
gnukeith · x · 2026-11-08
- 开发者 gnukeith 公开其自建推理服务细节：系统硬预留 3GB 内存防止过载崩溃，DeepSeek V4.1 Flash 默认 512K 上下文、最大可调至 1M，服务端会照常受理。
- KV Cache 不预先全量分配，而是按需动态分配；当前最多同时 7 个实例，理论上可提到 10 个，但他为稳妥选择不超载。设计主要参考 DeepInfer 和 vLLM，也借鉴了 Gufo、Halogen-Flash 等引擎。
- 他考虑在 11 月底/12 月初开源这套推理引擎，但担心它过于针对 DeepSeek V4.1 Flash 和自己的小众环境，对生态价值存疑。
所属事件:开发者自建推理引擎跑 DeepSeek V4.1 Flash，默认 512K 上下文(2 条相关)→
「Infra」频道最新
- Hyperbolic CEO 谈算力做市:三年长约对三周需求的市场空隙 — YiMaTweets · 2026-11-08
- Ben Bajarin 反驳「不需要数据中心」论:企业软件上云史正在重演 — BenBajarin · 2026-11-08
- 35 种量化组合实测:Qwen3.8 27B 的 KV 缓存 8-bit 几乎无损 — Hefty_Wolverine_553 · 2026-11-08
- 租 8×H200 烧 $4600 零进展,Tinker 跑同一训练全程不足 $100 — simonguozirui · 2026-11-08
- 算力上太空是必然：反对数据中心的人还要反对到宇宙吗 — Dr_Singularity · 2026-11-08
- 开源工具 Strata 让 RTX 3060 本地跑 DeepSeek V4.1，每秒 9-11 token — alex_verem · 2026-11-08