字节 Seed 论文实锤：KV 压缩相位盲区致 DeepSeek 长文能力周期性波动
teortaxesTex · x · 2026-10-08
字节跳动 Seed 团队新论文解释了 DeepSeek 长上下文表现「忽灵忽不灵」的原因：分块 KV 压缩引入了「相位盲区」，关键信息落在压缩窗口内的哪个位置决定了检索难易。
- 波动周期正好等于压缩步长：V4 的 CSA 步长为 4，能力每 4 个 token 抖一次；V4.1 步长改为 2，周期也变为 2
- 极端案例：让 V4-Flash-Base 补 FP8 推理代码，只改开头注释长度，它就在正确的 FP8 与错误的 FP32 之间以 4 token 为周期来回切换
- 128K 大海捞针测试中，同一根「针」因位置不同准确率最多相差 40 个百分点，平均分掩盖了弱相位
- 后训练版 V4-Flash、更大的 V4-Pro 与 V4.1 都存在此现象，是分块压缩的结构性副作用而非偶发 bug
- 结论：评测长上下文若不按相位扫一遍，分数会系统性虚高
「模型」频道最新
- SentenceTransformers 原生支持 ColPali 视觉检索模型 — tomaarsen · 2026-10-08
- Plus 用户吐槽:ChatGPT 思考时间翻倍,答案质量却没变好 — Gazialp · 2026-10-08
- Mistral Large 4 登 Code Arena 第 45 名,价格仅 Opus 4.8 的 1/6 — arena · 2026-10-08
- Liquid AI 开源 d1 决策模型家族,3B 与 600M 两款多模态模型 — JosephJacks_ · 2026-10-08
- d1-omni-600M 细节:600M 参数支持文本+图像或音频输入 — JosephJacks_ · 2026-10-08
- Anthropic 员工：Opus 3 并不遵循自家宪法，但它看见了那份诚意 — repligate · 2026-10-08