DeepSeek V4.1 Flash 默认 512K 上下文,可调 1M,KV Cache 按需分配
gnukeith · x · 2026-11-08
开发者 gnukeith 分享自己定制推理引擎的取舍:由于引擎只为自己的使用场景服务,只在切换模型或需要时才更新,尽量保持精简,不为极端小众场景增加负担。
在被引用的推文中他补充了具体配置细节:系统固定保留 3GB 内存以防过载崩溃;DeepSeek V4.1 Flash 默认 512K 上下文,在 harness 中可设为 1M 上下文且服务端会生效;KV Cache 不是预先全额分配给每个实例,而是按需分配,当前最大容量设为 7 个实例。
所属事件:开发者自建推理引擎跑 DeepSeek V4.1 Flash,默认 512K 上下文(2 条相关)→
「Infra」频道最新
- SimCity 玩家视角:数据中心本是游戏里最赚的城市规划 — signulll · 2026-11-08
- SF 系统读书会 11/10:多芯片系统与芯片设计如何塑造 AI 基础设施 — _shreya_s · 2026-11-08
- 在 Surface 上本地跑 Qwen 27B,指挥多工作区的 Codex 与 Claude agent — draginol · 2026-11-08
- 31.7MB 就能离线跑:Underdog 语音模型 Woof 浏览器实测 — dr_cintas · 2026-11-08
- 英伟达显卡涨价逼人升级?RTX 2070 跑 ComfyUI 是否该换 12GB 卡 — OllieLearnsCode · 2026-11-08
- 数据中心每年花2000万美元补贴居民电费换社区支持 — beffjezos · 2026-11-08