博主预测 3 个月内将出现支持 1000 万上下文的开源模型
teortaxesTex · x · 2026-11-03
AI 研究博主 teortaxesTex 预测：三个月内我们将看到一个标称支持 1000 万 token 上下文的可行开源模型。
配图为其对 DeepSeek V4.1 长上下文架构的修订结论：方案不是简单把 ZHA（层次化注意力）嫁接到 V4.1，而是重新设计索引器（DeepSeek 每代都会这么做）——
- 用线性 logits 替换 ReLU 打分；
- 在 4 个共享索引器键上构建 ZHA 树，从扁平索引器蒸馏而来；
- 把第一个放在二次项所在的编码器中；
- 每层保持固定大小的选择预算以维持 kernel 规整。
代价是索引器表达力下降，换来消除随 query 线性增长的最后一项：每步注意力读取大致持平，但存储仍随上下文线性增长，且训练数据尚不存在，无法让 1 亿 token 上下文真正有用。
「研究」频道最新
- Weight-Space 编程测试：开源模型在 Writing Weights 任务上集体失利 — eliebakouch · 2026-11-03
- AI 经济格局变化太快,趋势判断需要每周重新校准 — perilli · 2026-11-03
- NVIDIA 博客拆解 KV cache 压缩为何在 vLLM 生产环境失灵 — blaizedsouza · 2026-11-03
- 90页综述：统计估计正被上下文吸收，统一视角看基础模型 — anshulkundaje · 2026-11-03
- 变分线性注意力 VLA：用固定大小记忆替代无限增长的注意力缓存 — its_vayishu · 2026-11-03
- WISD:先弱化再自蒸馏,量化剪枝反使模型推理提升 — songhan_mit · 2026-11-03