斯坦福发布 Memorilla：16 个记忆 token 压缩 4000 倍上下文，快 27 倍

_AustinCalvert_ · x · 2026-11-08

斯坦福、多伦多大学等机构（作者含 Jure Leskovec）发布 Memorilla：将「记忆」作为一种模态，让冻结的 LLM 通过极少量记忆 token 记住整份文档集合。
核心做法：一个学习到的记忆模块读取全部文档，针对每个查询蒸馏出可配置数量（默认 16 个）的记忆向量喂给 LLM，模型权重完全不动。
数据：相对全文上下文推理，文档 token 压缩最高 4212 倍（NarrativeQA），端到端延迟降低 27 倍（512 份文档 0.74 秒 vs 19.9 秒，单张 H100、batch size 1），且个性化、长文档与知识问答的准确率反而更高，在 RAG 与 agentic memory 之外推出新的 Pareto 前沿。
动机：模型训练后知识固定，重训练不现实，检索又容易漏掉与问题弱相关的信息；Memorilla 让模型在上下文窗口之外也能「记住」用户偏好、新知识与 agent 的历史错误。
实验基于 Qwen3-8B 监督训练，代码与论文已开源。

「编程与Agent」频道最新