Proteus 入选 NeurIPS 2026：分块解锁记忆上限提升 8.4 NIAH
behrouz_ali · x · 2026-09-25
Proteus 论文被 NeurIPS 2026 接收。核心观察：线性注意力的固定大小记忆状态从第一个 token 起就暴露全部容量，导致早期 token 无压缩压力、肆意占用状态，后期 token 只能在已满状态上覆写。
- 方法：把记忆切成 E 个块，随上下文增长逐块解锁，锁定块既不读也不写；状态本身不增长，只改变活跃比例。
- 代价：零额外参数、零额外计算，可作为门控即插即用。
- 效果：在语言建模和常识推理上平均提升 +0.371.05 准确率点；长上下文场景在 2 倍训练长度下 NIAH 最高提升 +8.4 点，上下文越长收益越大。
本质是用早期瓶颈强迫模型「总结而非死记」，给新信息留出写入空间。
「模型」频道最新
- 「AI 写作将超人类」的预测难兑现:写作是反归纳领域,同款模型风格必然被厌弃 — herbiebradley · 2026-09-25
- Fastino 开源 340M 决策模型 GLiNER2.5-Decide,17 项分类测试平均分最高 — vanstriendaniel · 2026-09-25
- MechReason 基准:1.2 万问答暴露多模态模型工程推理短板 — AndrewDai · 2026-09-25
- Burkov AI 周报 #179:GPU 租买账、llm-d 低成本部署 753B 开源模型 — burkov · 2026-09-25
- 开发者实测：Claude 多智能体编排碾压 codex，Astra 模型太可惜 — madhavsinghal_ · 2026-09-25
- 大学生吐槽:$30/月的 Gemini Pro 幻觉频发令人失望 — makeitbumthem · 2026-09-25