Imprint Reader: From Weight-Update Readout to Behavioral Intervention
Guanxu Chen, Qihao Lin, Jing Shao
cs.AI
2026-09-28
上海 AI Lab 与交大用 SMaRT 训练 Imprint Reader,把冻结权重更新读成自然语言。held-out 知识 Pass@100 仅 2%、行为 16%;MetaEdit 无目标任务数据把有害拒绝率从 57.9% 提到 64.1%,BFCL 从 41.69% 提到 44.60%。
模型每学一次东西,参数里都会留下痕迹。人能回想刚才学了什么,今天的语言模型做不到:它们既不能像人那样感知自己的学习过程,也不能直接读刚写进权重的更新。
现有权重空间方法大多停在粗属性上,比如从权重预测准确率、优化器或微调任务类别。少数能把权重差说成自然语言的工作,面对没有信息的更新也容易编造。上海人工智能实验室和上海交通大学把方向倒过来:不给每个微调模型挂一个自我描述 adapter,而是训练一个完整的 Imprint Reader,把冻结的权重更新挂到自己身上再读。因为 Reader 和父模型共享参数坐标,读出用的梯度可以直接变成干预信号。
核心流程叫 Semantic Mount-and-Read Tuning(SMaRT),语义挂载再读。父模型和更新构造器都从同一份 post-trained Qwen3-14B 初始化,构造出来的更新可以直接挂上去。
每个学习目标 k 先做成一套 QA,在父模型临时副本上内环训练 64 步,抽出 LoRA 更新 Δθk = θk − θ0,rank 最高 256。这套 QA 永远不给 Reader 看,更新冻结。对 Reader 来说,这一局里唯一携带 k 的东西就是这块 delta。
挂载之后丢一条锚点无关的 meta-query,只规定输出形式,统计上与 k 独立,不泄露实体、原题或答案。训练目标是复述 k 的规范陈述。对照有两类:零更新说「没有新知识或新行为」,随机扰动说无法可靠判断。一个 batch 64 个 episode,24 知识、24 行为、8 个零更新、8 个随机扰动。
知识从八个事实与科学基准里抽可独立陈述的命题,要求基座注入前不会、注入后会;行为覆盖七类倾向,用户请求不得点破目标。有效性筛选丢掉 451 条知识和 495 条行为,平衡训练集各 8592 条,测试各 100 条。Reader 全参数八卡、学习率 10^-4,只用 teacher forcing,应用梯度来自第 2800 步。
因为 Reader 从 θ0 初始化,对目标自述的负对数似然梯度落在原模型同一套坐标上。MetaEdit 把这条梯度转到 Qwen3-14B,按对比梯度幅度挑投影输出行再按负内积剪枝,或对选中行做有符号稀疏更新。论文把「只给行为描述、不给目标任务训练数据」的干预叫做 vibe alignment。
自由生成读出仍然很弱。held-out 更新上,每条采 100 次、温度 0.6,用 Qwen3-30B-A3B-Instruct-2507 按固定提示打分。分数 ≥ 0.8 且证据跨度能在回复里找到,才算通过。Pass@100 知识 2%、行为 16%。成功案例能说出化学结构或写作流程,细节经常写错。adapter 对换更冷静:第 2800 步,匹配更新比同类型错配的目标 NLL 低 0.1255 nats/token,比不挂更新低 0.2227;错配相对不挂也低 0.0972。能读,远谈不上稳。
干预侧更清楚。安全实验在 2088960 行投影输出上打分,先留对比梯度幅度最高的 50000 行,再取负内积最大的 k 行置零。0.5% 预算下,原 Qwen3-14B 有害提示拒绝率 57.9%,Reader 引导的安全维持目标升到 64.1%,拒绝放松目标降到 55.4%。对照是 SetDiff、WANDA、ActSVD、Random,以及在原模型上算梯度的 MetaEdit(Base)。多数基线分不清两个方向。WANDA 和 ActSVD 剪完大量乱码,MetaEdit 乱码接近零。SetDiff 要用 260 条有害加 260 条无害样本做激活对比;MetaEdit 只用目标自述句和固定对照句。
数学和工具调用上,有符号编辑选 0.1% 的行(2089 行)、强度 α=0.35,系数在看测试集之前就定死。
| 方法 | GSM8K | MATH-500 | 回溯/千 token | 子目标/千 token | BFCL Overall |
| Qwen3-14B | 94.77% | 82.8% | 0.327 | 5.390 | 41.69% |
| Direct Prompt | 94.84% | 82.6% | 0.350 | 5.740 | 42.75% |
| MetaEdit (Broad) | 94.24% | 82.8% | 0.508 | 5.667 | 43.68% |
| MetaEdit | 95.00% | 83.0% | 0.687 | 6.015 | 44.60% |
细粒度 MetaEdit 把 BFCL Agentic 从 15.93% 拉到 22.30%。增益不匀:Broad 的 Multi-turn 最高(37.00%),Direct Prompt 的 Live(82.61%)和 Hallucination(83.72%)最高,未编辑模型 Non-live 仍最好(84.71%)。数学准确率只动了零点几个百分点,更像在改推理痕迹里回溯和子目标的写法。
对做 interpretability 和 alignment 的人,这条路径把权重空间学习从「预测任务标签」推进到自然语言读出,再接到可微干预。卖点很具体:指定一句想要的行为,不需要目标任务训练样本,也不需要推理时把行为写进 system prompt。安全剪枝两个方向能分开、乱码少,比 WANDA 和 ActSVD 这类激活剪枝干净。
它还不是能上线的读心术。2% 的知识 Pass@100 意味着不能拿自由生成当审计报告。真正能用的是把 Reader 当可微代理,梯度比句子可靠。数学分数几乎没动,BFCL Overall 大约加 3 个百分点,更接近描述驱动的风格对齐,不是能力跃迁。
论文自己把下一件事写得很清楚:跨更新的读出可靠性。自由生成既不频繁也不忠实。更新是内环 LoRA 从合成 QA 造出来的,一条更新对应一条知识或一种行为倾向,不是真实大规模训练留下的混合痕迹。伦理声明也写明,目前没有展示从更新里还原训练样本的能力。
拒绝率靠固定拒词模式分类,不是人工或强 judge。安全剪枝图把剪枝率按等距类别画,低于 45% 的拒绝率被视觉压缩。judge 是 Qwen3 系列 30B,和被测 Reader 同门。MetaEdit(Base) 失败说明训练过的 Reader 梯度才有方向性,也说明这套接口绑在同一父模型、同一坐标上,换底座要重训。拒绝放松方向同样有效,双刃。