韩国论文 Naju 把保留和写入门分开做状态更新
TheTuringPost · x · 2026-07-29
Naju 用“记忆门”和“写入门”分开控制状态更新
这篇来自韩国研究团队的论文提出了 Naju：一种原生离散状态空间模型，把 LSTM 里“保留”和“写入”分离控制的思路重新带了回来。
- 一个门决定已有状态保留多少。
- 另一个门决定新信息写入多强。
- 和耦合式单门设计不同，Naju 允许“边保留边写入”，两者可以同时很高。
论文里，模型在 512 token 序列上训练，并在 2,048 token 上测试，保留准确率达到 0.99，覆盖/改写准确率达到 0.89。对比实验中，xLSTM 更擅长记忆，GLA 更擅长改写，但都没法两项兼顾。
作者也给出两个限制：
- 速度：在 32K token 时，Naju 比 Mamba 慢 2.2 倍，比 Mamba-2 慢 3.3 倍。
- 扩展性：目前只在 WikiText-103 和 1.2B token 训练预算的小规模实验里验证，是否能大规模泛化还不清楚。
所属事件:韩国团队提出 Naju 模型引入双门控机制(2 条相关)→
「研究」频道最新
- Goodfire 创始人挑战叠加假说：InceptionV1 多语义性或另有成因 — petrusenko_max · 2026-10-16
- 实测 11 种提示策略催 LLM 创意：直接要「非显而易见」的点子最有效 — arjunrajlab · 2026-10-16
- SimpleMark 论文:多比特文本水印可将每 token 失真限制在预算内 — rishabh16_ · 2026-10-16
- 斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力 — HirokatuKataoka · 2026-10-16
- Cohere Labs 将在 EMNLP 2026 展示推理模型置信度估计等新研究 — Cohere_Labs · 2026-10-16
- Vals RSI 指数外推：Google 模型或于 2027 年 10 月达 130% 自研水平 — HaydnBelfield · 2026-10-16