清华联合发布大模型「记忆架构」前沿综述,提出三维分类框架
量子位 · wechat · 2026-08-05
清华大学唐杰教授团队联合新加坡国立大学及 Bosch AI 发布了一篇关于大语言模型(LLM)记忆架构的综述。文章指出,模型记忆正从计算的副产品(如 KV Cache)跃升为架构设计的第一性维度。
研究团队首次提出了三维架构级记忆分类学:
- 表示形式:分为与计算绑定的隐式记忆,与具备独立读写语义的显式记忆。
- 更新机制:分为仅训练阶段更新的离线机制,与推理阶段动态更新的在线机制(如 TTT)。
- 持久性:区分为随会话结束的短期记忆与跨会话存在的长期记忆。
综述深度解析了 Attention、SSM、MoE 等不同记忆机制的设计哲学,指出混合架构(如 Kimi Linear、Qwen3-Next)正成为主流,并探讨了容量、精度与系统成本等未来挑战。
「研究」频道最新
- EgoSuite 数据集可视化浏览器工具开源 — jonstephens85 · 2026-08-27
- Lightwheel 开源 10 万小时 Physical AI 第一人称数据集 — jonstephens85 · 2026-08-27
- 新研究:最强模型不等于最佳辅助,自动化能力难预测协作效果 — soumitrashukla9 · 2026-08-27
- 科学家研发模仿运动的植入物,可抗衰老并增强体能 — Dr_Singularity · 2026-08-27
- 研究称 Agent 完全自主比预设管架更擅长数学发现 — rohanpaul_ai · 2026-08-27
- BixBench3 评测:OpenAI 领跑,AI 复现论文成功率达 48% — anshulkundaje · 2026-08-27