KAUST 提出 NoteBank:稀疏情景记忆让线性注意力轻松扩展长上下文
kaust-generative-ai · hf · 2026-10-16
KAUST 团队(作者含 Jürgen Schmidhuber)发布 NoteBank,挑战「线性注意力循环状态的记忆容量决定长上下文能力」这一普遍看法。
核心思路:循环计算不必承担全部长期存储负担。NoteBank 是一个稀疏情景记忆模块,归档被选中的文本,用主干模型的原生特征进行写入与寻址,并通过「重放」(replay)让检索到的证据经由原生前向计算被读取。
关键特性:
- 免训练(training-free)、即插即用,不需要外部 embedding 模型、单独训练的检索器或独立神经读取器
- 在约 100 万 token 规模下,将 Gated DeltaNet 在六个 RULER 检索任务上的平均准确率大幅提升,且几乎无额外开销
「研究」频道最新
- WEDGE 框架：用导航智能体自身失败生成针对性训练环境 — mohitban47 · 2026-10-16
- 上交大 AutoLab 发布 Drive3R:流式 3D 重建基础模型瞄准自动驾驶 — AutoLab-SJTU · 2026-10-16
- 独立研究者发布 Cortex:用重放实测自动进化与修剪编码 Agent 的 skills 和 rules — Samuele Giampieri · 2026-10-16
- 团队用「零延迟实验室」测出 agent 药物发现是否靠预训练记忆作弊 — niloofar_mire · 2026-10-16
- 2.6 亿参数循环扩散模型反超 6 倍大小基线，推理算力省近 5 倍 — burkov · 2026-10-16
- 斯坦福 NCM 先画草稿再并行补细节，单 H100 生成提速 21 倍 — lmoroney · 2026-10-16