MIT 科技评论探讨 LLM 下一代演进：挑战 Transformer 架构的新势力

volokuleshov · x · 2026-08-11

MIT 科技评论发文指出，尽管 Transformer 架构主导了当前的 AI 产业，但其正显露出局限性（如处理长上下文的算力成本过高）。文章指出，近期大模型的诸多进步（如推理能力和超长上下文）多是为了掩盖底层缺陷的“打补丁”方案。

目前，一批初创公司正试图突破 Transformer 的框架限制，研发被称为 LLMs+ 的下一代模型。例如，文中重点介绍了初创公司 Subquadratic 探索的亚二次方计算复杂度架构，以及 Mercury 2 扩散语言模型等前沿研究方向，这些新路径正试图重塑大模型的底层构建方式。