研究员点评 ZHA:原理扎实,或让保密的次二次注意力实验室出局
teortaxesTex · x · 2026-11-03
X 用户 teortaxesTex 评价 Zyphra 的分层注意力(ZHA)发布:认为 Zyphra 是很棒的实验室,用层级树实现真正的次二次注意力「方向合理、原则性强」,并称若属实将「吹垮那些保密研发次二次注意力的实验室」。该帖是对 Zyphra 官方发布的补充评论,核心技术细节见官方原文。
所属事件:Zyphra 发布层次化树结构实现真次二次注意力(2 条相关)→
「研究」频道最新
- 又现"私有亚二次方注意力"项目,质疑者:Transformer 加几个权重就够了 — teortaxesTex · 2026-11-03
- GPT-6 直改 0.8B 模型权重提分 6 倍？挖细节后「魔法感」大打折扣 — teortaxesTex · 2026-11-03
- OSVerify 两次揪出 GPT-6-Pro 与 Codex 都漏掉的证明致命错误 — james_y_zou · 2026-11-03
- 斯坦福 NUS 耳机研究实时放大环境声中被忽略的细节 — HanGuo97 · 2026-11-03
- 三个 LLM 同玩一间密室逃脱:作者分享多智能体言行分离的记录方法 — ViceGodIm · 2026-11-03
- 只给一句「想象一下」，Qwen3-VL 内部状态无需训练即可驱动 Qwen-Image 出图 — zacharynado · 2026-11-03