训练 Oracle 模型自动生成权重编辑，可逆转微调关闭 61% KL 差距
Sauers_ · x · 2026-11-08
作者展示了一种可训练的"撤销微调"方法：让一个 Oracle 模型（Qwen3-8B + LoRA）读取微调后模型的激活与权重读数，直接输出一个权重编辑来抵消微调效果。
关键做法与结果：
- 编辑形式是对 MLP 神经元做逐神经元 scale + shift、对注意力头做逐头 scale，作用于 36 层；基于约 700 个微调的平均值作为"正常激活"基准。
- Oracle 用约 430 个来自 6 个其他模型家族的微调训练，目标是降低编辑后模型与原始模型之间的 KL 散度。
- 在 99 个未见过的微调上，结合神经元激活信息 + Oracle 的平均+rescale 编辑关闭了 61.3% 的 KL 差距（基准 average edit 为 56.0%，ridge regression 版本为 56.8%）。
- 给 Oracle 错误的微调信息时效果降至 57.8%，说明它确实在读微调信息而非只做泛化修正。
- demo 中被微调成"总是用 JSON 回复"的 Qwen3-8B，编辑后下一词概率分布向原模型大幅靠拢。
所属事件:训练 Oracle 模型自动生成权重编辑逆转微调(2 条相关)→
「研究」频道最新
- 数学家 Tivadar Danka 出机器学习数学全景路线图：线代+微积分+概率 — TivadarDanka · 2026-11-08
- Nous Research 发布 Propaganda_Eval 评测数据集,登上 Hugging Face 热门 — NousResearch · 2026-11-08
- 给135M小模型植入人工神经元,乘法成绩从21%飙到83% — CatAstro_Piyush · 2026-11-08
- 研究者自嘲：一次实验要人工标注 2785 条 agent 轨迹 — santiviquez · 2026-11-08
- Solidity 编译器 Solar 实测：编译 4.8 秒对比 solc 2 小时，fuzzing 内存省 4.7 倍 — banteg · 2026-11-08
- Cornell 教授招收 2027 秋 SE×AI 质量保障方向博士生，12 月 15 日截止 — AI4Code · 2026-11-08