训练 Oracle 模型自动生成权重编辑逆转微调

有作者展示了可训练的“撤销微调”方法：用一个 Oracle 模型（Qwen3-8B + LoRA）读取微调后模型的激活与权重读数，直接输出逐层逐神经元的 scale/shift 权重编辑，以抵消微调效果。该方法可逆转微调并关闭约 61% 的 KL 差距，被作者视为一种可解释性方向的探索玩法。

2026-11-08 ~ 2026-11-08 · 2 条相关

• 训练模型输出权重编辑，可自动撤销微调效果 — Sauers_ · 2026-11-08
• 训练 Oracle 模型自动生成权重编辑，可逆转微调关闭 61% KL 差距 — Sauers_ · 2026-11-08