DeepSeek-V4-Flash 架构曝光：284B 总参，FP4 混合精度，原生支持百万上下文
vllm_project · x · 2026-08-01
vLLM Recipes 页面意外泄露了 DeepSeek-V4-Flash 模型的详细技术文档。作为 V4 预览家族的新成员，该模型总参数量达 284B，激活参数仅为 13B。
核心架构亮点：
- 混合注意力机制：结合了压缩稀疏注意力 (CSA) 与重度压缩注意力 (HCA)。
- 极致显存优化：配合流形约束超连接，在 100 万上下文长度下，其每 token 推理算力仅需 V3.2 的 27%，KV Cache 占用仅为 10%。
- 混合精度存储：MoE 专家权重采用 FP4 存储，其余参数（如注意力、路由等）采用 FP8。
- 推理加速：支持多 Token 预测 (MTP) 及 DSpark 推测解码。
部署与变体：
模型基于 32T+ tokens 预训练，采用两阶段后训练流水线。官方提供了四个变体检查点，包括原生 FP4+FP8 混合权重版，以及由 NVIDIA 重新量化的 NVFP4 版本（专为 Blackwell GPU 优化）。
所属事件:DeepSeek-V4-Flash架构曝光：主打百万上下文(3 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16