DeepSeek V4.1 Flash 推理部署拆解：Engram 减参 30% + WideEP 摊薄权重
teortaxesTex · x · 2026-10-21
Latent Space 播客翻译了知乎上的 DeepSeek V4.1 Flash 大规模推理部署实践，@bookwormengr 逐条拆解效率来源，指出没有黑魔法，而是同时在多个维度做优化：
- Engram 稀疏记忆：196B 模型减少约 25-30% 参数量与对应计算，embedding 按需选择性读取，且存放在 DRAM 而非 HBM；
- 小型 prefill 主干：prefill 每token仅激活 8B 参数（decode 为 16B），NVL72 机架上只需分配 8 张 GPU 做 prefill；
- WideEP 部署：552B 参数的专家权重摊到 64 张 GPU（DP 64 + EP 64），每卡仅约 45B 参数且大部分为 4bit，相对每卡 192GB HBM 占用极小；
- 编解码器 KV Reuse 等设计进一步压缩开销（配图给出 Causal Encoder / Decoder 双主干结构）。
「Infra」频道最新
- SpaceX 财报会：算力扩建超预期，资本开支与债务成最大悬念 — JOBhakdi · 2026-10-21
- 企业 AI 数据供应链应从系统记录源头抓起，而非先选模型 — craigmullins · 2026-10-21
- 马斯克:SpaceX 每月新增 20 万 GPU,2027 年算力欲达 13GW — JOBhakdi · 2026-10-21
- Together AI 柏林 Open Haus:n8n、NVIDIA 工程师谈开源模型生产化 — togethercompute · 2026-10-21
- Supermicro 初步业绩爆表:Q1 营收最高 195 亿美元,盘后涨近 10% — firstadopter · 2026-10-21
- WSJ 称 Anthropic 本季算力支出超 6000 亿美元,传 50 亿砸 RL 环境 — himanshustwts · 2026-10-21