DeepSeek V4.1 论文藏细节:在 checkpoint 之间复用 KV 缓存,被称「奇怪的模型工厂」
teortaxesTex · x · 2026-09-10
Astra Pro 在深读 DeepSeek V4.1 论文时发现不少有趣细节,其中最引人注意的是 DeepSeek 在不同 checkpoint 之间复用 KV 缓存(KV reuse between checkpoints)。评论者 teortaxesTex 感叹这种做法非常少见,称 DeepSeek 像是在运转一座「非常奇怪的模型工厂」,暗示其训练流程有独特的工程安排。
所属事件:DeepSeek V4.1 Flash 确认以 YOCO 架构为核心(7 条相关)→
「研究」频道最新
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- FLASH 仿真框架:单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26
- LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱 — yoavartzi · 2026-10-26
- EMNLP 主题演讲背后:用语言模型「模拟学习者」生成儿童语言习得新假设 — najoungkim · 2026-10-26
- EMNLP 2026 主题演讲背后的论文:用 bigram 模拟语言习得 — najoungkim · 2026-10-26
- 把 DeepLIFT 重写为独立计算图:输入序列直接输出归因结果 — jmschreiber91 · 2026-10-26