Safe Error Correction for Language Models: Frozen-Base Adjustment with Capability Preservation
Gautam Kishore
cs.AI, cs.CL, cs.LG, cs.NE
2026-09-15
给完全冻结的Gemma 4 E2B叠上34M参数的logit纠错模块,在自建60题领域考上准确率到53.3%,MMLU与BoolQ与底座逐分相同;对照6.6M的LoRA到83.3%,MMLU从62.5%掉到32%。
部署中的语言模型会说错事实、算错算术、把隐含目标理解反。常见修法是 LoRA 或全量微调,把目标域错误压下去。改权重通常会忘别的事:这一批错修好了,通用能力跟着掉。论文把这种交换叫 correction-capability tradeoff。
这篇要验证交换是不是必然。底座完全冻住,上面只加一个小纠错模块,既改错,又在无关任务上保持原分。实验底座是 Gemma 4 E2B:文本侧 4.65B 参数,多模态整包 5.12B,35 层,隐层 1536 维,词表 262,144。
纠错模块叫 CRN v2。它只读冻结底座最后一层隐状态,算出一个加在 logit 上的偏移:1536 维先压到 rank 128,过 GELU,再扩到词表大小,乘一个从接近零初始化的标量门控。底座不收梯度。可训练参数 34,013,185,约占文本模块的 0.73%。
训练数据是 83,400 条纠错对,来自 17,810 个不重复 prompt,覆盖事实、算术、隐含目标推理。
KL 让纠错头在底座已经对的地方少动,只在错的地方分叉。对照是匹配 CRN v1 预算的 LoRA:rank 19,约 6.6M 参数,打在 8 个深度的全部线性层上,数据与 DPO 目标相同,SFT 还多训 1,000 步。另测在第 4、第 7 层给隐状态加低秩残差(约 1.6M),让后续冻结层放大扰动。
评测是自建 60 题领域考 CEHRI,判分是子串匹配。改写版 120 题只加前后缀模板,字符重叠均值 71.6%。60 道原题全部原样出现在训练集里:原考是分布内纠错,改写考是近重复,两边都不测分布外泛化。
| 方法 | 原考 60 题 | 改写 120 题 |
| 冻结底座 | 7/60 = 11.7% | 未测 |
| CRN v2(r=128, λ=0.1) | 32/60 = 53.3% | 52/120 = 43.3% |
| CRN v2(r=256, λ=0.01) | 21/60 = 35.0% | 31/120 = 25.8% |
| LoRA(r=19, 6.6M) | 50/60 = 83.3% | 93/120 = 77.5% |
相对底座,CRN v2 多对 25 题,LoRA 多对 43 题。N=60 时 Wilson 95% 区间分别是 [40.9%, 65.4%] 和 [72.0%, 90.7%]。底座已对 7 题,53 道错里改对 25 道,约 47%。
能力侧用同样 prompt、greedy 解码:
| 基准 | 底座 | CRN v2 | LoRA |
| MMLU(N=200) | 125/200 = 62.5% | 125/200(Δ=0) | 64/200 = 32.0%(Δ=-30.5 pp) |
| BoolQ(N=200) | 144/200 = 72.0% | 144/200(Δ=0) | 110/200 = 55.0%(Δ=-17.0 pp) |
| car-wash(N=8) | 6/8 = 75.0% | 6/8(Δ=0) | 0/8 = 0%(Δ=-75 pp) |
CRN v2 在这三条上与底座逐分相同。LoRA 在 car-wash 上 8 题全错。
λ 从 0.1 降到 0.01,原考从 53.3% 掉到 35.0%,改写从 43.3% 掉到 25.8%。这组同时改了 rank 和 DPO 步数,不能单独归到 λ。能力两种设置都不掉,底座冻着,KL 只影响纠错头怎么学。
注入深度扫描没有一组超过 rank-128 logit。第 4 层 30.0%/28.3%,第 7 层仅 SFT 为 50.0%/55.8%,多层拼接约 35M 只到 40%,加长训练仍是 53.3%。第 7 层再上 DPO,纠错几乎不动,MMLU 掉到 13%,BoolQ 恒输出 B。多数是单次会话观察,只有第 7 层仅 SFT 一行有独立日志。
Apple M4 上端到端约 25 分钟。推理无 KV cache,每生成一个 token 整段重跑底座,约 1 秒/token。
同样数据、同样 DPO,6.6M LoRA 能到 83.3%,MMLU 却从 62.5% 掉到 32.0%,8 题小任务归零。冻底座、只改最终 logit、用 KL 钉住纠错头,考分低一截,测过的能力账是平的。
这是工程原则,不是新架构。公式是标准低秩瓶颈,论文自己写明。代码和主结果权重已发布。适用面很窄:有正负对错例,又绝对不能动基座能力。53.3% 撑不起高风险用途,没接 KV cache 的解码也还不能当线上方案。
60 题全部原样在训练集里,改写版中位余弦相似度 0.972,118/120 ≥ 0.9。测的是背过的题会不会改口,不是新题会不会改。能力基准每项 200 或 8 条,「零掉点」只对这三条成立。KL 消融把 rank、λ、DPO 步数缠在一起。深度注入多数 checkpoint 没留,磁盘清理时日志也删了。训练 17,810 个不重复 prompt,缩放未知。HellaSwag 评测坏了,两边都是 0,不能当证据。
参数量不对称:34M 对 6.6M,约 5 倍,LoRA 训练步数还更多,论文写明了。LoRA 纠错仍高、能力仍垮,方向对照还在。同等 34M 的 LoRA 再打一轮,数字可能会动。