谷歌新架构 Proteus 解锁长上下文渐进式记忆
inductionheads · x · 2026-08-19
Google 发布名为 Proteus 的新神经记忆机制，旨在解决循环架构模型在长上下文中“前载”记忆的问题。不同于传统将信息压缩在初始 token 的做法，Proteus 随上下文增加逐步解锁更多记忆容量，从而更均匀地存储信息。该机制可应用于 SWLA、Comba、Titans 等 SOTA 模型以提升长文本处理能力。
「研究」频道最新
- 把快程序编译成慢神经网络？开发者吐槽这类实验实用价值存疑 — ctjlewis · 2026-10-16
- 用 logit lens 透视 Beat Saber 微调模型：音符生成复用语言语法回路 — ctjlewis · 2026-10-16
- 128×128 记录难破：中间步骤实验如何预言了推理模型 — ctjlewis · 2026-10-16
- TeamFusion 研究:用偏好代理互搏替代 AI 总结,保住团队少数派声音 — burkov · 2026-10-16
- MIT 推出 C-GMT:人形机器人全身柔顺响应,不再硬抗外力 — MIT_CSAIL · 2026-10-16
- Spring 2027 新课：拓扑深度学习，从感知机讲到 WL 测试 — burny_tech · 2026-10-16