英语里改掉的事实,中文里难生效:九成误差卡在正交残差

On the Geometric Bottlenecks of Cross-Lingual Knowledge Editing

Aastha A K Verma, Anwoy Chatterjee, Sparsh Jain, Tanmoy Chakraborty

NeurIPS 2026

cs.CL, cs.LG

2026-11-07

IIT 德里团队把跨语言知识编辑的失败分解成三个几何分量,发现正交残差独占九成,英语残差对目标语言残差的解释力不足 4%。

这篇在解决什么

多语言大模型长期背着一个假设:事实知识存在语言无关的潜在空间(interlingua)里,英语学到的知识印地语也能取用。若真如此,知识编辑(直接改权重让模型改掉某条事实)只要在英语里改一次,其他语言应当自动跟着变。实测不是:ROME 在 Llama-3.1-8B 上用英语编辑 CounterFact 事实,成功率(Efficacy)在英语 82.77、德语 72.62,印地语剩 49.61,中文只剩 33.59。此前评测基准 MLaKE 和 CLM-Bench 记录过这个落差,把它归为算法没做好。这篇 IIT 德里的工作换了问法:失效是不是模型表示结构本身的瓶颈,换编辑算法也绕不开?

方法

分析对象选 ROME、MEMIT、AlphaEdit,因为这三家的权重更新有闭式解,且全部由源语言统计量算出:编辑键 k1、编辑残差 r1(把该键输出搬到目标值所需的改变向量)、键的二阶矩矩阵 C1。更新是确定的,才能拿去精确投影到目标语言表示上解剖。

迁移失败被拆成两道门:

在此之上再问两件事:只靠源语言统计量做事后修正有没有戏(存在由「私有方差」给出的误差下界);编辑前先做跨语言表示对齐能否把门打开。实验覆盖 Llama-3.1-8B 与 Gemma-3-4B,英、德、印地、乌尔都、中五种语言,zsRE 与 CounterFact 的多语言版,单张 H200 跑完。

结果

CounterFact 上英语编辑、各语言评测的 Efficacy(Llama-3.1-8B):

方法英语德语印地语乌尔都语中文
ROME82.7772.6249.6146.7033.59
MEMIT19.1213.027.098.650.87
AlphaEdit59.2989.6158.7454.0857.86

键空间的门按语言距离分层关死:德语的 α 在第 12 层附近峰值约 0.4,印地语和乌尔都语在所有层都低于 0.08,远距离语言的键子空间主角度超过 75°,接近正交。MEMIT 批量编辑雪上加霜,跨事实干扰比在印地语、乌尔都语上冲到 8-20,德语只有 4-5。值空间是主瓶颈:在最优编辑层(16-20 层的「语义谷」),正交失配占总误差约 0.90,给每条事实单独挑最优层的 oracle 实验也只能降到 0.77-0.80。事后修正有硬下界:Ridge、MLP、k-NN 三种预测器从英语残差预测目标残差,R² 全部不超过 0.036,约 96% 的方差不可解释。

对比对齐实验(16-25 层 InfoNCE 加语言建模正则)把键空间的门大幅打开:α 在 en→de 从 0.212 升到 0.858,en→ur 从 0.015 升到 0.517。但正交失配基本没动,德语还从 0.470 微升到 0.486;下游 Efficacy 涨跌互现:乌尔都语 46.70→59.22,中文 33.59→39.51,印地语持平,德语反从 72.62 掉到 61.17,XNLI 再掉 4-8 个点。键空间对齐是必要条件,不是充分条件。

为什么重要

对部署多语言产品的人,这是一条直接可用的警告:用 locate-then-edit 在英语里改掉一条错误或危险知识,别假设其他语言跟着改了。论文明确点了安全场景,在一种语言里生效的安全修正可能在另一种语言里失效,多语言部署需要按语言逐个验证编辑结果。

对做编辑方法的研究者,这篇给了三样东西:一套可复用的诊断量(α、正交失配占比),一个带下界的否定性结论(只靠源语言信息的事后修正被封顶),一个边界清晰的正面结果(表示对齐打得开键空间的门,补不上值空间的方向)。结论只对闭式更新这一族方法成立,不自动外推到其他编辑路线。

局限与存疑

作者自述的边界:只覆盖三种闭式编辑方法;跨语言键映射假设近似线性,下游影响用一阶近似;命题 3 只给上界,命题 4 只约束「只用源残差」的修正,用上键、提示或语言身份的方案不在界内;只测了两个 4B-8B 模型,答案都是短事实,长文本生成未验证。

读下来另有三处存疑。几何差距与行为惩罚的相关性不高(Spearman ρ 在 0.114-0.221),内部几何解释的是总体趋势,单条事实的成败还受解码与分词影响。MEMIT 在他们的批量设置里英语本身只有 19.12,它的跨语言崩溃有一部分是基线就弱。AlphaEdit 在 CounterFact 上从英语 59.29 到中文 57.86,几乎不随语言衰减,同一个几何瓶颈在它身上为什么轻得多,论文没有展开。另外各语言的协方差统计来自机器翻译的英文维基百科,与自然目标语料的分布差未见讨论。

术语

原文与代码

社区讨论

相关论文

全部论文解读