DeepSeek 部署文档:跨数据中心推理可行,但光纤易被施工挖断
teortaxesTex · x · 2026-10-21
DeepSeek 开源的 V4.1 Flash 推理部署文档披露了一个少见的细节:由于 V4.1 Flash 大幅压缩 KV cache,把 Prefill 和 Decode 分离到不同数据中心在技术上可行,但代价是可靠性——数据中心之间的光纤很容易被施工挖断。官方建议每 8 张 GPU 预留约 400 Gbps 互联带宽,实践中推理节点部署在不同但相邻的数据中心。评论区调侃此前宕机可能真是光纤被挖断。
文档还给出存储集群标准配置等工程细节:
- 每个 KV cache 存储服务器配 20 块 30.73TB SSD,读≥40GB/s、写≥5GB/s,容量需保留 24 小时数据
- 每卡逻辑存储约 14.4TB,物理需求更大
- 3FS 分布式文件系统采用 10+2 纠删码,每个 EC 组可容忍两节点同时故障,读请求同时发给 11 个存储节点、任 10 个响应即可解码
- GC Worker 按 LRU 策略回收过期 KV cache,控制磁盘用量在水位线以下
所属事件:DeepSeek 披露 V4.1 Flash 推理部署实践:无黑魔法,效率来自工程组合(2 条相关)→
「Infra」频道最新
- 英伟达 GTC 柏林站 keynote 开幕在即,排队队伍绵延数个街区 — TheZachMueller · 2026-10-21
- 曝 NVIDIA 欧洲大动作,现场屏幕展示生态版图 — testingcatalog · 2026-10-21
- 黄仁勋现身柏林 GTC 主题演讲,NVIDIA 官方直播 — nvidia · 2026-10-21
- PyTorch 基金会一周新增 9 名会员,Anyscale 升至白金级 — YvesMulkers · 2026-10-21
- 300 美元攒机跑本地 27B 模型:双 3060 12GB 方案求建议 — Loose_Doubt367 · 2026-10-21
- CoreWeave 背债 420 亿美元,占七大 Neocloud 债务近半(转推版) — FinanceYF5 · 2026-10-21