DiscipleOfZara:RoPE/GQA 等都是增量,谈不上去 attention 的范式革命
DiscipleOfZara · x · 2026-11-03
DiscipleOfZara 回应 kalomaze:0→1 与 1→N 是范畴不同的两回事,从 CNN 到 Transformer 才是真正的范式转变;原始 Transformer 及其各种变体(RoPE、SwiGLU、GQA 等)都能被认出是 Transformer,谈不上巨大转变,因此也不存在需要彻底抛弃 attention 的革命。
所属事件:kalomaze 与 DiscipleOfZara 激辩 Transformer 架构演进之争(5 条相关)→