超越 Transformer 架构今年将成主流，MoE 与线性受关注

PeterDiamandis · x · 2026-08-22

Peter Diamandis 转发观点称，业界共识是超越 Transformer 的新架构今年将占据重要市场份额。重点提及的技术包括混合专家、扩散 Transformer、线性注意力与循环机制，这些正在解构“Attention Is All You Need”的原始假设。LiquidAI 等实践证明了新架构的可发现性，传统 Transformer 在效率上的短板正促使架构多样化。