kalomaze 与 DiscipleOfZara 激辩 Transformer 架构演进之争

11 月 3 日,kalomaze 与 DiscipleOfZara 在社交媒体上就 Transformer 架构是否仍在发生实质变化展开多轮交锋。争论核心是:RoPE、SwiGLU、GQA 这类技术改进算范式革命还是增量修补,以及

2026-11-03 ~ 2026-11-03 · 5 条相关

• DiscipleOfZara:核心洞见仍是 Attention Is All You Need — DiscipleOfZara · 2026-11-03
• kalomaze 回应架构之争:增量改进下 Transformer 底层其实在持续大变 — kalomaze · 2026-11-03
• 【源头】DiscipleOfZara:RoPE/GQA 等都是增量,谈不上去 attention 的范式革命 — DiscipleOfZara · 2026-11-03
• 【源头】kalomaze:不相信抛弃 attention 能带来颠覆性架构进步 — kalomaze · 2026-11-03
• kalomaze:主张去 attention 的前提本身就不成立 — kalomaze · 2026-11-03