DeepSeek V4.1-Flash 滑窗重放省显存,长程召回会掉吗
Top-Handle-5728 · reddit · 2026-09-11
Reddit 帖主提出对 DeepSeek-V4.1-Flash 中 SWA Bounded Replay 机制的技术疑问：该设计不持久保存滑窗 KV 缓存，而是丢弃后仅用最后 Nwindow 个 token 近似重建，以大幅节省显存。
帖主的核心质疑是：原始 SWA 状态因网络深度而拥有远大于窗口宽度的有效感受野，重建出的 K/V 向量缺少塑造原始状态的长程上下文，因此缓存命中或会话重启后的前几轮交互可能出现召回精度损失；并追问并行的全局 KV 增强是否足以弥补这一近似误差。帖主征求是否有人做过相关 benchmark 或观察到实际召回退化。
「模型」频道最新
- GPT-6.1 Terra 控制真机器人胜过 Opus 5.5,较三月前提升 3.7 倍 — ycombinator · 2026-10-28
- Kimi 发布 K3.1 Pro：3T 级开源权重模型，100 万上下文幻觉降 65% — NVIDIAAI · 2026-10-28
- OpenSIR 自博弈框架：LLM 无需训练数据自学数学推理 — PMinervini · 2026-10-28
- Claude Opus 5.5 从二进制重建 SQLite 等程序,ProgramBench 得分 18.5% — winer666 · 2026-10-28
- Codex 后台任务一夜烧光 500 美元周额度外加 75000 credits — sethlazar · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28