变分线性注意力 VLA：用固定大小记忆替代无限增长的注意力缓存
its_vayishu · x · 2026-11-03
Metriqual 团队发布 Variational Linear Attention（VLA）研究论文，探索解决长对话处理中注意力缓存无限增长的问题。
核心思路是维护一个随新信息演化的固定大小联想记忆：模型预测一个 value、计算误差，再用自适应矩阵塑造下一次记忆更新，以减少已存关联之间的干扰。
作者也坦承局限：处理可以持续进行，但有限记忆无法保证完美召回。论文地址见原帖。
「研究」频道最新
- UMI 手持夹爪采集人类示范,零样本迁移到多平台机器人 — gabriberton · 2026-11-03
- 用 Codex+Astra 直接改权重：鸟类声音分类器准确率 84.3% 提至 88.75% — dansitu · 2026-11-03
- 手持夹爪+SLAM 采集数据:详解催生多家机器人创业公司的 UMI 方法 — gabriberton · 2026-11-03
- TSFLab：面向时序预测研究的自改进 Agent 工作台开源 — D2I-Group · 2026-11-03
- YC 团队发布 QA-Bench:AI 找 Bug 能力比 Codex 多 2.7 倍 — ycombinator · 2026-11-03
- EDU-Jev 教育决策模型 4B 达 67.6%,超最强商业 API 9.4 分 — kalyan_kpl · 2026-11-03