Proteus 入选 NeurIPS 2026：分块解锁记忆上限提升 8.4 NIAH
behrouz_ali · x · 2026-09-25
Proteus 论文被 NeurIPS 2026 接收。核心观察：线性注意力的固定大小记忆状态从第一个 token 起就暴露全部容量，导致早期 token 无压缩压力、肆意占用状态，后期 token 只能在已满状态上覆写。
- 方法：把记忆切成 E 个块，随上下文增长逐块解锁，锁定块既不读也不写；状态本身不增长，只改变活跃比例。
- 代价：零额外参数、零额外计算，可作为门控即插即用。
- 效果：在语言建模和常识推理上平均提升 +0.371.05 准确率点；长上下文场景在 2 倍训练长度下 NIAH 最高提升 +8.4 点，上下文越长收益越大。
本质是用早期瓶颈强迫模型「总结而非死记」，给新信息留出写入空间。
「模型」频道最新
- DeepMind 称 Gemini 智能体 4 周完成 Signal 加密协议数学验证 — Polymarket · 2026-11-11
- 爆料：Google 新模型阵容曝光，含 Flash 迭代与视频模型 — koltregaskes · 2026-11-11
- 爆料:OpenAI Astra 6.2 或将临近,已现于 Codex 日志与谷歌云配额 — haider1 · 2026-11-11
- 同一段提示词实测：Fable 5.2 花时 3 倍费用 2 倍，换来导演级表达 — iamfakhrealam · 2026-11-11
- Krafton 开源 1.5B 端侧模型 Raon-1 nano,多项基准超同尺寸对手 — DimitrisPapail · 2026-11-11
- 打错字会让 LLM 不舒服？tokenization 引发有趣讨论 — menhguin · 2026-11-11