Memento 让模型自管上下文

DimitrisPapail · x · 2026-07-09

论文 Memento 研究了让 LLM 在生成过程中自己管理上下文的方法。作者称模型可以在中途压缩自己的思维链，从而让 KV cache 占用下降 2 到 3 倍、吞吐量接近翻倍。