Zyphra 发布分层注意力 ZHA:宣称超长上下文提速最高 400 倍
teortaxesTex · x · 2026-11-03
Zyphra 官方推出 Hierarchical Attention(ZHA),目标是真正实现次二次(subquadratic)注意力。核心思路是把 KV cache 逐层压缩成一棵「摘要树」,推理时每个 query 从树顶出发,按学习到的参考 query 评分,用 top-p 递归向下路由到原始 key,避免传统稀疏注意力中 lightweight indexer 带来的二次方开销。
- 机制:树构建阶段按注意力加权和把分块 key 压缩为上层节点;路由阶段 top-p 自适应——简单查询探索少量分支,复杂查询可扩展更多,且保留完整 KV cache 以支持精确检索。
- 宣称提速:1000 万 token 上下文下比稠密注意力快 35 倍、比 MSA 快 5 倍;10 亿 token 时提升至约 400 倍和 55 倍。
- 转换成本低:从训练好的稠密注意力模型冻结骨干,只需约 40 亿 token 学习参考 query 参数即可完成转换,远短于预训练长度。
- 论文测试了 4B–35B 开源模型,上下文 256K–512K。作者 Beren Millidge 称解决次二次注意力是其多年目标,对此落地非常兴奋。
「研究」频道最新
- 又现"私有亚二次方注意力"项目,质疑者:Transformer 加几个权重就够了 — teortaxesTex · 2026-11-03
- GPT-6 直改 0.8B 模型权重提分 6 倍？挖细节后「魔法感」大打折扣 — teortaxesTex · 2026-11-03
- OSVerify 两次揪出 GPT-6-Pro 与 Codex 都漏掉的证明致命错误 — james_y_zou · 2026-11-03
- 斯坦福 NUS 耳机研究实时放大环境声中被忽略的细节 — HanGuo97 · 2026-11-03
- 三个 LLM 同玩一间密室逃脱:作者分享多智能体言行分离的记录方法 — ViceGodIm · 2026-11-03
- 只给一句「想象一下」，Qwen3-VL 内部状态无需训练即可驱动 Qwen-Image 出图 — zacharynado · 2026-11-03