SSM表达力受限：Mamba等模型无法解决状态跟踪问题

davidbau · x · 2026-08-21

在关于AI架构的讨论中，davidbau提及Merrill等人的论文《The Illusion of State in State-Space Models》，该论文指出状态空间模型（SSM）的表达能力与Transformer类似，受限于TC0复杂度类，无法解决置换组合等简单状态跟踪问题，因此无法准确跟踪国际象棋走法、评估代码或跟踪长叙事中的实体。实验证实Mamba-style SSM确实在状态跟踪上存在困难。讨论还提到DeltaNet作为可能的替代方案。