Transformer遇瓶颈，四家初创押注新架构挑战LLM底层
MIT Tech Review AI · rss · 2026-08-10
MIT 科技评论指出，尽管 Transformer 支撑了当前的 LLM 热潮，但其核心机制“密集注意力”的计算复杂度随文本长度呈平方级增长，已成为处理超长上下文和复杂推理的算力瓶颈。
多家初创公司正试图从底层架构上替代 Transformer：
- Subquadratic：研发稀疏注意力机制，动态判断哪些词汇关联最重要，宣称能在搜索和编码任务上媲美主流大模型。
- Manifest AI：用“能量保留”机制完全替代注意力机制，通过滚动摘要丢弃无关信息，防止上下文爆炸，并已推出基于该技术的编程模型 PowerCoder。
- Liquid AI：受线虫大脑启发，结合 Transformer 与“液体神经网络”，模型体积小且支持边运行边学习，能在树莓派上运行，下载量已达 3400 万次。
「公司和人」频道最新
- Meta 开源 Muse Glimmer 被指系闭源模型蒸馏版 — heypearlai · 2026-08-10
- 彭博社招聘Web平台技术产品经理 — threepointone · 2026-08-10
- 宇树科技初创史：50平米无门牌办公室起步，天使投资200万 — yangyi · 2026-08-10
- 宇树科技开启申购：从估值1300万到市值610亿 — yangyi · 2026-08-10
- 比亚迪进军人形机器人赛道，8月将发布首款产品「小迪」 — ayushtweetshere · 2026-08-10
- Wayve AI 创始人将亮相 Actuate26，预告分享具身智能反共识新理念 — alexgkendall · 2026-08-10