DeepSeek V4.1-Flash 将 KV 缓存压至每 token 890 字节,持久缓存缩 8 倍
jbhuang0604 · x · 2026-10-01
Cornell 教授黄仁杰(Jonathan Huang?—— jbhuang0604)解读 DeepSeek V4.1-Flash 的注意力架构:该模型将全局 KV 缓存压缩到每 token 仅 890 字节,持久缓存缩小 8 倍,同时在智能体类 benchmark 上保持竞争力。
支撑这一压缩率的三个关键技术:
- Causal Encoder- Decoder:因果编码器-解码器结构
- Compressed Sparse Attention:压缩稀疏注意力
- SWA Bounded Replay:滑动窗口有界回放
对长上下文和 agent 场景的推理成本优化有直接意义,视频中有逐步拆解。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16