又现"私有亚二次方注意力"项目,质疑者:Transformer 加几个权重就够了
teortaxesTex · x · 2026-11-03
teortaxesTex 评论一个新的 "private subquadratic"(亚二次方复杂度)项目,称这类尝试已有多起且质量堪忧。其核心观点是:所谓亚二次方改进不过是拿一个已预训练的 Transformer 加上少量额外权重即可实现,无需另起炉灶,"Attention 真是 all you need"。这是对线性/亚二次注意力改进路线的典型质疑立场。
「研究」频道最新
- 3D World Simulator：联合预测外观几何触觉，50Hz 交互式世界模拟 — XRarchitect · 2026-11-03
- 权重空间编程结果获独立复现，最新模型出现阶跃新能力 — basedjensen · 2026-11-03
- ARC Prize 2026 收官：1.85 万人参赛提交 6.7 万次，12 月 4 日揭晓 — GregKamradt · 2026-11-03
- 心脏 MRI 的 AI 读片能否先于临床医生？Lancet 子刊研究给出答案 — EricTopol · 2026-11-03
- 「涌现能力」宣称遭质疑；Fleet 拟雇人教 AI 做机制可解释性研究 — sebkrier · 2026-11-03
- Goodfire 推出神经几何研究系列：用流形理解并控制大模型内部 — burny_tech · 2026-11-03