Zyphra 报告称实现真·次二次注意力,teortaxes:架构革命仍是更好的 Transformer

teortaxesTex · x · 2026-11-03

AI 实验室 Zyphra 发布报告,称通过层次化树结构实现了真正的次二次(subquadratic)注意力,teortaxes 转发评论称这是有原则的强结果,若属实将碾压各家秘密研发次二次架构的实验室。

teortaxes 同时泼冷水:这不过是「实现得更好的 Transformer」——同一套架构加几个权重就能得到你的「次二次」,他重申此前的判断:xLSTM、Mamba、Megalodon 等架构挑战者在一定参数规模后都不够看,Attention Really Is All You Need。配图还包括 Zyphra 报告宣传文案被吐槽像 Haiku 生成的营销 slop,以及他历年来吐槽 Transformer Killer 论文的漫画梗图。