架构论文阅读清单流出:Mamba-3 两周前新法可做非交换状态追踪
zmkzmkz · x · 2026-10-10
samcompute 分享了一份模型架构论文阅读清单,涵盖多条研究方向,并点出近期关键进展:SSM 在状态追踪能力上的递进——从奇偶性到模运算,再到非交换状态追踪。
亮点:约两周前上传 arXiv 的论文中,一个日本团队证明只需对 Mamba-3 的 A 矩阵(NPLR)做简单调整,即可让其执行具备长度泛化能力的非交换状态追踪(S5)。清单还包含 looped transformers 等方向的论文,附作者之一 zmkzmkz(多层 KV 共享的发明者)。
「研究」频道最新
- Gym-Anything 获 COLM2026 Lifelong Agents 研讨会最佳论文 — dan_fried · 2026-10-10
- Ai2 发布 Olmo Hybrid:混合架构省 49% 训练 token 达同精度 — allen_ai · 2026-10-10
- 10月22日旧金山 AI for Science 活动:Agent 能否端到端跑科研 — nlarusstone · 2026-10-10
- 论文提出嵌套并行冯诺依曼架构:百万处理器仍是单一计算机 — bronzeagepapi · 2026-10-10
- UPenn 论文用「腐坏格」统一扩散与自回归,预判解码调度成本 — upenn · 2026-10-10
- CMU 教授 Keenan Crane 用 AI 做 3D 建模:效率差距大到得换回 CS 思维 — keenanisalive · 2026-10-10