Proteus 论文：增量记忆激活破解线性注意力固定状态饱和
behrouz_ali · x · 2026-09-15
rezabyt 发布新论文 Proteus（12 部分长线程），针对线性注意力走向前沿规模后的核心短板——固定大小记忆状态随上下文增长而饱和：
- 问题诊断：固定状态记忆从第 1 个 token 就暴露全部容量，早期 token 没有压缩压力，占用远超所需的容量；后期 token 继承的是已写满的状态，新信息无处落笔。
- 方法：提出「增量记忆激活」（incremental memory activation）——记忆容量不应一次性全部暴露，而是随上下文增长逐步解锁：早期施加瓶颈强迫模型做摘要而非死记，后期解锁新块容纳新信息。
- 实现：Proteus 将记忆划分为 E 个块，随上下文推进逐一解锁，同时门控读写，锁定块不参与读写。作者称这是该思想的最简实例化。
对关注线性注意力/长上下文架构的研究者值得跟读。
「研究」频道最新
- 腾讯开源稀疏注意力新方法 SAPS，让损失函数直接学 KV 分块 — teortaxesTex · 2026-09-15
- 全双工语音评测新基准 Duplex Cue 发布，专测轮内适应能力 — rdesh26 · 2026-09-15
- 纯人类数据训练的机器人操作模型，速度惊人 — zipengfu · 2026-09-15
- RewardAI 发布 OM-1 机器人基础模型:仅凭人类数据训练,零样本适配多机型 — zipengfu · 2026-09-15
- Ai2 强调:评估 AI 发现与提出假设同样重要 — allen_ai · 2026-09-15
- 25 支 UW 团队实测 Ai2 AutoDiscovery,质疑 AI 假设成课堂核心 — allen_ai · 2026-09-15