EngramEdit 论文:靠条件记忆解耦更新 LLM 事实知识
teortaxesTex · x · 2026-10-09
arXiv 论文 2610.10533 提出 EngramEdit，利用 DeepSeek Engram 式条件记忆架构(以输入 n-gram 查表获取嵌入)实现 LLM 事实知识的解耦更新：固定 Transformer 主干，只编辑记忆嵌入。核心挑战在于同一事实的不同表达会激活不同 n-gram 嵌入，而共享嵌入的更新可能波及其他事实。方法分两步：
- 先计算目标记忆表示，使模型在事实的多种表达下都预测出更新后的内容；
- 再联合更新共享 n-gram 嵌入以匹配目标，并对高频复用嵌入的改动施加更强惩罚，保护无关知识。
实验显示编辑成功率接近满分，更新后的事实可泛化到未见表达与多跳推理；在思维链(CoT)提示下准确率约为最强基线的近 3 倍。作者称这是 PEFT 之外的一个新轴。
所属事件:EngramEdit 借条件记忆实现 LLM 知识低成本更新(3 条相关)→
「模型」频道最新
- Anthropic 称勿对 Claude『残忍』,网友搬出康奈尔法学定义回怼 — AlexTensor · 2026-10-09
- Claude 声称发现 500 光年外一对红矮星双星系统 — nitarshan · 2026-10-09
- 用 11GB+16GB 双卡给自己的网络历史训练个人分身模型 — ailee43 · 2026-10-09
- 用户吐槽:各家闭源模型集体「变笨」,像回到 Ask Jeeves — No_Vehicle7826 · 2026-10-09
- 用户吐槽：OpenAI Pro 订阅也在聊天中途偷偷替你换模型 — Slow_Ad1827 · 2026-10-09
- 曝 GPT-6 配 Intelligent UI 上线：回答内嵌计算器、地图等交互工具 — winer666 · 2026-10-09