DeepSeek V4.1 Flash 架构重置:KV 缓存缩至 1/4,主动删掉自家旧设计
teortaxesTex · x · 2026-09-16
知乎作者 Exhalation 拆解 DeepSeek V4.1 Flash:尽管总参数与激活参数都比上一代更大,工作 KV cache 却降到 1/4,持久缓存存储降到 1/8。做法是删除旧模块、共享 KV 状态并重算局部上下文:
- 移除 MTP:外部草稿模型(如 DSpark)削弱了其投机解码价值,辅助损失也不再值得占内存
- 移除重度压缩注意力:其全局摘要角色模糊,且难以与 FP4 存储结合
- 移除 Dense warmup,转向更稀疏的训练路径
teortaxesTex 评论称,这显示 DeepSeek 把二次复杂度成分推向更『稀薄』的操作层面,是在自己的科学研究中也接受 bitter lesson、寻找不可再约简的部分。这不是简单的降本,而是一次架构重置。
所属事件:DeepSeek V4.1 Flash 架构重置：KV 缓存缩至 1/4(5 条相关)→
「Infra」频道最新
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02
- Intel 单日暴跌 29% 创 1970 年代以来最差，美国政府持股蒸发 120 亿美元 — emmanuelvivier · 2026-11-02