FOVEATED 框架修复知识编辑缺陷,5 种编辑器一致提升原子事实召回

Ding Wu · hf · 2026-10-06

知识编辑（KE）是替代全量重训练的定向更新手段，但现有非结构化知识编辑（UKE）编辑器存在「上下文依赖」失败模式：模型能复述编辑段落，却无法脱离原文可靠召回其中各条事实。

作者定位到根因是段落级编辑目标导致的「难度低估」：越靠后的事实获得的 ground-truth 上下文越丰富，初始损失越低，显得更容易学。为此提出 FOVEATED——一个即插即用框架，通过随机偏移前文键的 RoPE 位置构造每句话的「聚焦视图」，扰动仅在编辑期间施加，推理时模型原生位置编码不受影响。