DeepSeek-V4.1-Flash 重构架构:KV 缓存压缩至每 token 890 字节
AndLukyane · x · 2026-09-21
- 定位:DeepSeek-V4.1-Flash 针对 agent 类工作负载 redesign Transformer——编码/研究/工具调用 agent 反复处理数十万 token 而输出很少,prefill 算力与 KV cache 成为核心瓶颈。
- 架构:552B 参数 MoE,采用新的 Causal Encoder-Decoder(CED),40 层拆为 20 层因果编码器 + 20 层解码器;每 token 预fill 激活约 8B 参数、解码激活 16B。
- 缓存压缩:Compressed Sparse Attention 2(CSA2)跨层共享 KV 表示与稀疏注意力决策;SWA Bounded Replay 避免持久存储滑窗 KV;FP4 KV 量化把全局缓存压到每 token 仅 890 字节,约为 DeepSeek-V4-Flash 的四分之一。
- 能力保持:仍支持 1M token 上下文、原生视觉与强 agentic 能力;训练用 45T 多模态 token,大量提升来自自动生成的 agent 任务、环境与 rollout 的规模化。
所属事件:DeepSeek 发布 V4.1-Flash：552B MoE 架构为 Agent 重构(3 条相关)→
「Infra」频道最新
- 「Harness 定义基础设施」：agent 框架与基建正走向垂直整合 — HankYeomans · 2026-11-12
- CoreWeave 转向客户预付款和更短合同为 AI 扩张输血 — TechCrunch AI · 2026-11-12
- AI 烧钱与监管担忧发酵，10 月外资撤出亚洲股市近 500 亿美元 — nordicinst · 2026-11-12
- Bernstein 评数据中心可信管线：Meta 微软谷歌领衔，Kevin O'Leary 团队遭嘲讽 — aronchick · 2026-11-12
- Photoroom 用 SkyPilot 每周回收约 1000 小时闲置推理 GPU — skypilot_org · 2026-11-12
- 英国 AI 芯片公司 Fractile 融资 7.2 亿美元，跻身算力赛道头部 — TechCrunch AI · 2026-11-12