Fractional State Space Transition for Long Sequence Modeling
Ivan Kobyzev, Abbas Ghaddar, Ali Nasiri-Sarvi, Lifeng Shang, Yufei Cui
NeurIPS 2026 (Oral)
cs.LG, cs.CL
2026-09-29
华为诺亚提出选择性SSM FRAC，用16个对数间隔指数模态逼近分数阶幂律记忆。1.3B模型LongBench平均17.9，比最强线性基线GDN高1.9，短上下文仅落后Transformer 0.2。
Mamba、Mamba 2、Gated DeltaNet 这类 State Space Model 把整段历史压进有界循环状态，训练和推理都按长度线性走。效率来自压缩，压缩把记忆律变成架构选择。这些模型几乎都从常微分方程及其离散化出发，过去输入的影响按指数掉，远处很快看不见。长序列里早期事件往往还不该被忘掉，指数遗忘是错的先验。
分数阶微分方程在物理里用来写「遗传效应」，白话就是现在依赖一整段加权过的过去，近的权重大、远的按幂律慢慢掉。麻烦在于它是非马尔可夫的：当前状态依赖整段过去，和有限状态循环层对不上。FRAC 要把这条幂律长记忆收成能并行训练、能 prefill、解码状态仍有界的选择性 SSM。
一阶松弛方程里的普通导数换成 Caputo 分数阶导数后，齐次解变成 Mittag-Leffler 衰减，长时尾巴是 t 的负 α 次方。α 靠近 1 更像普通 ODE，α 变小遗忘更慢。
这条核可以写成连续一簇指数衰减的混合。FRAC 在对数轴上取几何间隔的时间尺度，用有限个指数模态去逼近重尾，再按零阶保持离散化。每个模态变成一条一阶递推：保留多少由步长和有效时间尺度决定。主实验用 16 个模态，基准尺度从 1 排到 2 的 17 次方，慢模态盖过 64K 外推。像用十几组不同半衰期的指数，去拼出一条掉得更慢的尾巴。
选择性加在这条分数阶几何上：
整层仍是对角仿射递推，训练用分块 parallel scan。实现里把理论零阶保持的注入系数从 (1-ρ)/λ 改成 1-ρ，把时间尺度和写入幅度拆开，训练更稳。这是对推导的有意偏离。
合成重尾任务用单层约 20 万参数，只在长度 512 上训练。外推到 128K 时 FRAC 准确率 63.8%，GDN 58.4，Mamba 3 55.6，Attention 掉到随机水平 50.0。MADLab 上压缩、模糊回忆、记忆、选择性拷贝四项平均 75.4，Mamba 3 是 74.8。
1.3B 参数从零预训练 100B FineWeb-Edu token，训练长度 4K packed：
| 方法 | LongBench 平均 | LM Harness 平均 | Recall-Retrieval 平均 |
| Transformer | 14.7 | 55.3 | 38.5 |
| Mamba 2 | 12.0 | 53.8 | 29.9 |
| GDN | 16.0 | 54.2 | 30.9 |
| Mamba 3-SISO | 14.4 | 54.6 | 35.1 |
| Mamba 3-MIMO | 11.4 | 55.3 | 36.8 |
| FRAC | 17.9 | 55.1 | 36.4 |
LongBench 14 项里 FRAC 拿下 8 项最好，比最强线性基线 GDN 高 1.9。NIAH 超出 4K 训练长度之后，FRAC 掉得最慢；S-NIAH-1 是例外，GDN 的 gated delta 更擅长滤重复填充。短上下文 LM Harness 只落后 Transformer 0.2。Recall-Retrieval 按惯例截到 2K，FRAC 36.4，落后 Transformer 2.1，和 Mamba 3-MIMO 的 36.8 只差 0.4。
代码补全 LCC 上 FRAC 只有 11.0，Transformer 是 26.0，这项掉得很明显。
390M 消融、30B token、16K 文档困惑度：完整 FRAC 在 ProofPile / PG19 / GovReport 上是 47.2 / 28.4 / 11.3。把 α 钉死为 1，三份分别升到 61.3 / 36.2 / 19.7。去掉写入先验变成 68.5 / 41.6 / 18.2。去掉全部分数阶先验的纯多尺度记忆库，ProofPile 到 76.3。M=8 全面变差，M=32 几乎打平，参数多 5%、算得慢 7%。去掉直通项 D，GovReport 从 11.3 升到 23.6。
16K prefill 吞吐 FRAC 每秒 77490 token，高于 Mamba 3-SISO 的 74314 和 Transformer 的 56297。训练吞吐每秒 241598，低于 Mamba 2 的 278620。解码循环状态每层 65536 个标量，Mamba 2/3 是它的 8 倍，GDN 约 4.5 倍。
给 SSM 换记忆律，和在指数遗忘上加门控、加 delta 更新，是不同的轴。FRAC 说明幂律先验能塞进现有 scan 流水线，短文本不崩，长外推和 LongBench 有稳定、幅度不大的增益。状态比 Mamba 小一个数量级还更长记，因为 16 个模态在时间尺度上做积分，没有靠把状态张量做大来换容量。
已经在用 Mamba 或 GDN 的人可以当可替换 mixer 试。它没解决精确联想检索，S-NIAH-1 上 GDN 仍更好，结论自己也写了下一步该和 delta-rule 拼。短上下文几乎持平，这是长上下文向的渐进改进，别当成 Transformer 的替代品。
理论到实现有缝。注入系数改了；写入先验并没有唯一的分数阶导出，只是套了和读出相同的函数形。有界区间上的指数和，不等于无限地平线上的真分数阶动力学。
训练始终是 4K packed，64K 的 NIAH 全是零样本外推。Recall-Retrieval 截到 2K，测的是短检索。LongBench 14 项里 8 项平均长度低于 8K，平均分被短任务稀释。LCC 掉到 11.0，论文没给解释。DNA 实验只有图，正文没有逐点数字。消融停在 390M / 30B token，1.3B 上没拆同样的组件。没有和注意力混合架构比，也没有和 Mixture-of-Memories 这类扩容量路线直接打。