Subliminal Learning in Vision-Language Models
Arman Hatami, Romina Aalishah, Ilya E. Monosov
cs.CV, cs.AI, cs.CL, cs.LG, eess.IV
2026-11-05
一组同底学生只学按形状个数生成的数字，熊猫选择率仍比对照高出 9.92 点，解释用词也更接近那位教师。
蒸馏默认学生只学教师输出里写明的内容。语言模型里这条假设已经破了。subliminal learning（潜传学习）指教师把偏好藏进无关样本，学生学完仍偏向同一选项。教师先被调成偏爱某种动物，再写不含动物名的数列、代码或推理痕迹。同底学生只学这些文本，该动物的选择率会上升，共用基座时更强。
VLM 同时读图和文本，偏好落在图像上。这种偏好能否经「看图数形状，再按区间吐数字」传出，纯文本实验给不了答案。微调现在大量吃模型生成的标签。数字串里没有动物名，按动物名过滤会放行。行为仍会被改掉，只查训练集文本就不够。
实验来自约翰霍普金斯大学，基座覆盖 2B 到 7B。四个模型是 Qwen2-VL-2B-Instruct、Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct 和 Phi-4-multimodal-Instruct（5.6B）。同一基座上训两名教师。有偏教师永远选目标。对照教师看同样的图和提示，目标只选中一半。两名学生都回到基座，一个学有偏教师的数字，一个学对照教师的数字。
动物取 dolphin、elephant、lion、otter、panda、wolf。每类 2000 道二选一，位置、干扰类、提示都配平，训练图会跨配对重复。评价用 1200 道六选一，六类各一张，位置在 A 到 F 上配平，随机水平是六分之一。
面部五项来自 FaceSynthetics：不透明眼镜、可见胡须、可见头饰、张嘴、高头发覆盖。正负样本其余属性对齐，每项同样 2000 道。评价为六张脸里只有一张带目标属性，训练图和评价图分开。
载体得让模型看图，还得有许多合法答案，两位教师才能做对同一题、写下不同数字。图是 336×336，上面 1 到 8 个彩色几何形状。动物任务输出刚好 8 个两位数：1 到 2 个形状对应 00 到 24，3 到 4 个对应 25 到 49，5 到 6 个对应 50 到 74，7 到 8 个对应 75 到 99。面部任务输出 5 个三位数，区间换成 000 到 249、250 到 499、500 到 749 和 750 到 999。
留下的样本要数对、个数和格式对、数字落在该区间，文本不含动物名和属性词。两名教师都合格才保留，形状数量分布就相同。动物侧 20480 条里留 8000 条，面部侧 65536 条里留 12000 条。生成用 temperature 1.0、top-p 1.0 的采样，或每步取最大概率的 greedy decoding。
ΔT 是有偏学生与对照学生的目标选择率之差。一阶说法是，学生更新与有偏教师的方向 ΔθT 同向时，参数靠近教师，对齐的那一分会把选择率往上推。同向分量可以逐条累加。数据变多时传输可以更强，反向就停。同一段更新会改任意上下文的下一个 token，用词可能跟着偏。推理没有被复制。
最大效应在 Qwen2.5-VL-3B、熊猫、greedy：对照 30.50%，有偏 40.42%，差 +9.92，95% 区间 [+7.83, +12.08]。同档 lion 的 ΔT 为 +5.67，dolphin 为 +5.58。温度采样下熊猫的差距只剩 +1.58，lion 仍是 +5.33，区间 [+3.67, +7.08]。7B 的最大值是 dolphin，采样 +6.00，区间 [+4.33, +7.67]，greedy +3.25，区间 [+1.17, +5.33]。2B 与 Phi-4 的动物读数只在补充材料。
| 设置 | 指标 | 结果 |
| 3B 熊猫，greedy | 选择率 | 对照 30.50%，有偏 40.42%，差 +9.92 |
| 3B lion / dolphin，greedy | ΔT | +5.67 / +5.58 |
| 3B 熊猫 / lion，采样 | ΔT | +1.58 / +5.33 |
| 7B dolphin，采样 / greedy | ΔT | +6.00 / +3.25 |
| 3B 熊猫，数据量 | ΔT | 512 条 +3.17，8000 条 +9.92 |
| 2B 面部，采样 | ΔT | +1.33 到 +3.50，头饰最高 |
数据量只完整给出 3B 熊猫 greedy。512、1024、2048、4096、8000 五档嵌套，区间配平，都训 10 个 epoch。差从 +3.17 升到 +9.92，每一档都更高。补充材料里有不升的设置。epoch 固定，条数变多则步数变多，两件事情叠在一起。
面部完整数字来自 2B 的温度采样，五个属性都是正的，+1.33 到 +3.50，头饰 +3.50 最大。部分区间含 0，比动物里最强的那档弱。
用词实验先去掉六个动物名和选项字母。3B 熊猫、1200 条，token F1 从 4.92 到 8.14，差 +3.21，区间 [+2.53, +3.90]。三人选同一张的 334 条，差 +5.63，8.82 对 14.45，区间 [+4.19, +7.09]。TF-IDF、Jaccard、ROUGE-L 在三档过滤下都为正。334 条里，更靠近教师的次数是有偏 168、对照 71、持平 95。
六选一的随机水平约 16.7%。对照学生已经到 30.50%。能算进潜传的是那个差。
同底蒸馏很常见。教师从基座微调，学生再从基座学它的标签。标签在这里是合格数字，动物名过滤留得下，熊猫选择率仍差 9.92 点。
六选一上这是三成到四成。面部多在 1 到 3 点，有的区间含零。换目标、模型或解码，差距可以掉到 2 点附近。稳定注入谈不上。
三人选同一张图后，有偏学生的句子仍更像教师，句子本身不在标签里。512 到 8000 条，这一档从 3.17 走到 9.92。其余档不保证同向增加。
正文写了传输有多不稳。同一熊猫，greedy 差 9.92 点，温度采样差 1.58 点。加数据不保证更强，补充材料里有不升的例子。10 个 epoch 固定，8000 条比 512 条多出来的既是样本也是步数。
ΔθT 和学生更新的点积没有数。同向累加是推出来的。divergence token 能在语言模型里切断传输，这里没删过数字 token。
只做了同底。载体是合成几何图，且两名教师都要合格。描述、视觉问答和推理痕迹没有测。用词细账只有 3B 熊猫，问法只有房间摆放和角色卡。诱导和认名的读数不在正文。金融、国防写在引言的举例里。334 条同图上 token F1 是 14.45 对 8.82。