Zyphra 发布分层注意力 ZHA:10M token 提速 35 倍,剑指真亚二次方注意力
teortaxesTex · x · 2026-11-05
Zyphra 发布 Hierarchical Attention（ZHA），声称是实现真正亚二次方注意力的一条路径。
- 核心机制：在一张可学习的压缩摘要树上进行搜索。
- 预期加速：在 10M token 长度下，比 dense attention 快约 35 倍、比 MSA 快约 5 倍；扩展到 1B token 时分别达约 400 倍和 55 倍。
转推者 Jonathan Chang 同时对「按 top-p 覆盖质量随上下文增长而扩大 token 数」的说法提出质疑：长上下文噪音更多，固定 top-p 未必最优，且动态 shape 下难以高效运行；他倾向用带调度策略的固定 top-k（上下文越长 k 越大）就够用。
「研究」频道最新
- Engram 团队：少量训练即可修复长时程模型的不可读笔记 — scott_linderman · 2026-11-05
- Engramlab 新研究：用 RL 教模型用笔记，训练成本出乎意料地低 — realJessyLin · 2026-11-05
- SkyDiscover 自动合成推理引擎,Mac 上快 2.7 倍 — CShorten30 · 2026-11-05
- NMSLIB 作者公开质疑新向量检索论文漠视其开创性贡献 — srchvrs · 2026-11-05
- NMSLIB 作者:新论文未证实「多表示降低性能」论断 — srchvrs · 2026-11-05
- Foresight-SWE 基准:编程智能体解题 60.7%,却只有 14.8% 不埋新 bug — OfirPress · 2026-11-05