DeepSeek-V4 答案随 4 token 周期翻转，chunked KV 压缩是元凶
Francis_YAO_ · x · 2026-10-20
研究者发现 DeepSeek-V4 存在周期性弱点：同样代码同样问题，仅在前面添加装饰性 docstring（每两个 token）就会导致答案翻转；NIAH（大海捞针）准确率还会随 needle 位置以固定 4-token 周期波动，幅度高达 40 个百分点。
论文将其归因于 chunked KV-cache 压缩：为节省长上下文显存与注意力开销，模型把连续 W 个 token 合并为一个 cache 条目，并每隔 S 个 token 生成新条目，token 的「相位」即其在窗口内的相对位置（t mod S）。这使模型对 token 相对位置的敏感度呈现周期性。
团队开源了实验仓库 Periodic-Weak-Spots，并基于 Qwen3 构建了 chunked KV 压缩模型以复现和验证该现象。
「模型」频道最新
- Hazy Research 开源 NCM:概念级并行生成,比扩散文本模型快 31 倍 — simran_s_arora · 2026-10-20
- 博主实测:DeepSeek 新模型设计表现逼近 Opus 水平? — sven_ai · 2026-10-20
- 指纹测试：DeepSeek ds-4.1-flash 被识别为 GPT-6-astra — sven_ai · 2026-10-20
- 智能边际效益骤降:领先 10 分仅多换 20% 开发者流量 — khademinori · 2026-10-20
- MiniMax M3.1 Flash 登 BuildingBench 成本质量前沿，总分区 73.3 — Lianhuiq · 2026-10-20
- 用户吐槽 Codex 重置后一小时内烧掉半天用量额度 — ssh4net · 2026-10-20