FRAC 架构用幂律长记忆取代指数遗忘，提升长上下文 SSM 表现
Ivan Kobyzev · hf · 2026-10-01
Ivan Kobyzev 介绍 FRAC 论文：针对状态空间模型（SSM）的长上下文记忆瓶颈提出新架构。
问题
- SSM 将序列历史压缩进有界循环状态，记忆衰减规律决定长上下文性能上限；主流 SSM 的 ODE 动力学导致指数遗忘，难以保留宽时间跨度的信息。
方法
- FRAC 源自分分数动力学（fractional dynamics），用幂律长记忆替代指数衰减。
- 为让分数动力学实用化，用有限状态、对数间隔的指数模态和来近似重尾目标核，得到可并行训练与 prefill 的高效循环模块，同时保留有界状态的自回归解码。
结果
- 包括 1.3B 参数语言建模在内的广泛实验显示，FRAC 在长上下文上一致优于 SOTA SSM 基线，短上下文仍有竞争力，证明分数动力学是实用的长记忆先验。
「研究」频道最新
- 98877 页历史报纸数据集上线,含 OCR 文本与置信度标注 — vanstriendaniel · 2026-10-01
- 微软新 ML 系统：提前 30-60 分钟预测太空天气对电网的损伤位置 — LesterMackey · 2026-10-01
- Noam Brown 对谈 Dwarkesh:多智能体集群、对齐与递归自我改进 — GregKamradt · 2026-10-01
- Keras 3 隐藏项目 ZeroModels 集成 100+ 模型族，后端随意切换 — lmoroney · 2026-10-01
- 研究者实测 Opus：工期估算来自训练数据里人类样本，几无自省 — StefanoGogioso · 2026-10-01
- Fleuret 谈 AI 时代数学未来:工业数学将归机器,抽象数学仍属人类 — francoisfleuret · 2026-10-01