DeepSeek开源推理路由细节曝光：decode仍用wideep ep64，prefill不做cache aware
teortaxesTex · x · 2026-10-20
研发工程师 SuJinYan123 结合 DeepSeek 开源仓库与知乎文章，锐评其推理侧并行与路由设计：
- decode 侧仍是经典 wideEP（ep64 等），负载大致是 kv cache + num running 的组合调度。
- prefill 侧几个 load balancer 最有价值：分桶策略比较生产级（together 之前探索过）；prefill 路由不做 cache aware，靠池化兜底；dp group 直接用 compute tokens 做负载均衡指标。
- 还有一个耗时估计器思路：不固定 chunk size 而固定"耗时"，离线跑出表格供 scheduler 估时组 batch。
- 作者判断：中小部署 prefill 用 PP 更好，大部署才适合 EP；配套笔记（配图）详细记录了 agentic workload 下 prefill/decode 的长尾分布、长短请求分池、cache hit 选择、mooncake store 过热处理等实践细节。
「Infra」频道最新
- 推理、沙箱、RL训练：Together等四家算力云殊途同归 — NielsRogge · 2026-10-20
- 英伟达 GTC 柏林站开幕，黄仁勋主题演讲明日举行 — NVIDIAAI · 2026-10-20
- Hyperdrives CEO 访谈:靠解决电机散热造更小更便宜的高功率电机 — MarvinTBaumann · 2026-10-20
- 单卡 RTX 3060 12GB 跑通 MiniMax H3 视频生成，928p 仅 23 分钟 — Ok-Inevitable8391 · 2026-10-20
- 字节阿里腾讯向 Nvidia 下单超 350 亿美元，供不应求难保交付 — pstAsiatech · 2026-10-20
- DeepSeek-V4.1-Flash 登顶 Agent Arena 开源第一，总榜第 11 — vista8 · 2026-10-20