字节 Seed 发现 DeepSeek 检索准确率随输入位置以 4 Token 周期波动
量子位 · wechat · 2026-10-09
字节 Seed 团队发现 DeepSeek-V4 系列存在「神鬼二象性」：同一道题，仅在前面增删几个无关 Token，答案就会反复横跳，且以 4 个 Token 为周期变化。
- 现象：在 DeepSeek 官方推理代码补全实验中，前置装饰性文档字符串长度模 4 余 0/1 时模型倾向错误答案（平均概率 71.3%），余 2/3 时倾向正确答案（91.5%）。128K 长上下文大海捞针测试中，仅改变目标信息相对压缩窗口边界的位置，DeepSeek-V4-Flash-Base 检索准确率最大差距达 40.2 个百分点。
- 根因：与 DeepSeek-V4 采用的分块 KVCache 压缩有关，团队命名为「相位敏感性」（Phase Sensitivity）。即使 Key 和 Value 落在同一压缩窗口内，不同位置准确率也差异很大。
- 复现验证：团队以 Qwen3-0.6B 架构从头训练多种分块压缩方案，所有分块压缩模型都出现与压缩步长一致的周期波动（步长 4/6/8 对应周期 4/6/8），全注意力基线无此现象；改用平均压缩权重或去掉 RoPE 也不能消除。注意力头还存在「相位专门化」，不同组件偏好不同位置。
- 缓解与启示：后训练和架构迭代能缩小差距（V4.1-Flash-0910 差距降至 6.1 个百分点，周期缩至 2 Token）。常规 Benchmark 汇总平均分会掩盖该问题，评测分块压缩模型应分相位分别测试。
论文：arxiv.org/pdf/2609.36322
所属事件:字节 Seed 论文揭示 DeepSeek 长文能力周期性波动成因(2 条相关)→
「模型」频道最新
- Abacus AI 预告:一句 Prompt 一小时定制训练专属 LLM — bindureddy · 2026-10-24
- 把「去审查版 DeepSeek」跑进 Pi 里，成了 AI 圈新日常梗 — EXM7777 · 2026-10-24
- 特斯拉工程师：Cybercab 相机调优用 Grok 直接编程固定功能硬件 — yunta_tsai · 2026-10-24
- 安全漏洞挖掘横评:DeepSeek V4.1 Flash 7.5 美元找出 54 个漏洞 — teortaxesTex · 2026-10-24
- Agent Arena 榜单：Kimi K3.1 Pro 单任务中位成本 $1.03，惜别 Pareto 前沿 — arena · 2026-10-24
- Kimi K3.1 Pro 对比 Claude Opus 5.5 评测出炉 — alejandroll10 · 2026-10-24