15 种 Post-Transformer 架构全景对比:Mamba、RWKV、xLSTM 与混合路线
Public-Feedback-6705 · reddit · 2026-10-14
Reddit 用户整理了 2026 年 Post-Transformer 架构版图,覆盖 15 种路线,核心观点是下一阶段的突破不靠单纯堆算力,而是在有限资源里榨出更多智能。
主要架构与机制
- Mamba-2/3(Gu, Dao 等):选择性 SSM;Mamba-3 加入复数值状态与 MIMO
- RWKV-7 "Goose":可并行 RNN,常数内存,无 KV cache
- BDH(Dragon Hatchling):神经元图结构,注意力从局部交互涌现
- xLSTM:指数门控 + 矩阵记忆
- Titans(Google):测试时由「惊讶」驱动的神经长期记忆
- 混合模型:Qwen3-Next(Gated DeltaNet,3:1)、Kimi Linear(3:1)、MiniMax-01(Lightning Attention,7:1)、Jamba(7:1)、Nemotron-H、Falcon-H1、Zamba2、LFM2、StripedHyena 2 等
- HRM:慢规划/快执行双循环模块,单次前向
重叠关系:作者用第二张表按线性注意力、softmax 注意力、测试时快速权重、脑启发四个维度标注各架构,指出这些方向并非互斥——许多混合模型同时继承多个组件的特性。
「模型」频道最新
- 具身评测榜:Gemini 4 Argon 落后 GPT 6 Astra 仅 25 分 — qinzytech · 2026-10-15
- 未发表理论物理题测试:GPT-6-Astra 拿下 98%,还揪出专家答案错误 — sandersted · 2026-10-15
- Kimi K3 第三方托管质量疑似降级,或与 MXFP4 量化有关 — casper_hansen_ · 2026-10-15
- Gartner 2026 生成式 AI 技术成熟度曲线:AgentAI 尚在爬坡 — luisdans · 2026-10-15
- Meta Muse Wonder 定价仅 Fable 四成,海外博主实测:丑、慢、不再用 — vista8 · 2026-10-15
- 5 人团队花 30 万美元训出对标 Fable 5 的开源模型 — willcb · 2026-10-15