EngramEdit：基于条件记忆实现 LLM 事实知识的解耦编辑

ModalityDance · hf · 2026-10-08

问题：DeepSeek Engram 这类条件记忆架构用输入 n-gram 查表扩充模型容量，但同一事实的不同表述会激活不同 n-gram 嵌入，直接更新共享嵌入容易误伤无关知识。
方法：论文提出 EngramEdit，先计算让模型在多种表述下都预测出新事实的目标记忆表示，再联合更新共享 n-gram 嵌入，并对高频复用嵌入施加更强惩罚以保护无关知识。
结果：编辑成功接近满分；修订知识可泛化到未见表述和多跳推理，CoT 提示下准确率约为最强基线的 3 倍；随事实更新累积，无关知识与通用能力基本保持不变。
意义：把条件记忆从单纯扩容手段变成可编辑的知识接口，为在不改动 Transformer 主干的情况下更新事实知识提供了路径。

「研究」频道最新