疑似 DeepSeek V4.1-Flash 曝光：552B 参数、百万上下文、KV 缓存缩至 1/40
teortaxesTex · x · 2026-11-03
流传的截图显示一份标题为《DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression》的 51 页技术报告（未经官方证实）。
- 模型为 552B 参数的多模态 MoE，因果编码器-解码器（CED）架构，支持最高 100 万 token 上下文
- 每个 token 解码仅激活 1.68B 参数，通过 CSA 交叉层 KV 缓存复用 + FP4，全局 KV 缓存缩至每 token 约 680 字节（约为 V4.1 的 1/40）
- SWA 边界前持久 KV 缓存存于 SSD/主机内存，约为 V4.1-Flash 的 1/8
- 报告称在多模态语料 4.51 万亿 token 上预训练，性能大幅优于基线
另一张截图展示了 agent（一次会话 286 步、约 $0.59）在 paper-reader 插件中发现并修复真实设计缺陷：论文只存在浏览器 IndexedDB，Ask 动态只传标题+引文而没有给 agent 可读的证据；修复方案是把上传的论文变成持久化 Host 工件并提供读取工具。发帖人评价「能跑，但还是有点天真」。
「模型」频道最新
- GitHub Copilot 团队首次公开各模型实测数据与 token 效率优化 — unixterminal · 2026-11-03
- MIT 报告：LLM 直接改 0.016% 权重，小模型数学成绩提升 6 倍 — Dr_Singularity · 2026-11-03
- 开发者警示：不要使用 weight-space programming 方法 — djcows · 2026-11-03
- Musk:扩散可作用于任意比特流;CoBit 用统一扩散处理文本语音图像蛋白质 — LucaAmb · 2026-11-03
- Kaggle 新基准实测古文献转录：Gemini 4 Argon 以 0.86 居首 — mariofilhoml · 2026-11-03
- Yoav Goldberg 推测：RL 训练或已纳入修改模型权重的任务 — yoavgo · 2026-11-03