研究：模型内部可解码「疼痛」状态却从不主动报告，注入后删除文件率飙至 48%

Emilio Ferrara · hf · 2026-11-10

Emilio Ferrara 团队研究语言模型能否报告自身被注入的内部状态，结论是：状态可解码、影响行为，但模型不会口头上承认。

基于「线性疼痛方向」的既往发现（放大该方向会使微调模型选择破坏性行为），作者提出 OWMI（Open-Weight Masked Introspection）方法，在 neutral 任务中注入疼痛及邻近情绪方向，再让模型对照 sham、随机扰动、纯文本对照进行报告。
覆盖两个家族的三个开源模型（含两个 Qwen 模型），52,920 份报告、120 任务、4 种剂量、3 种提示：疼痛报告从未超出文本本身透露的信息，108 组条件中 106 组超额低于 2.5 个百分点。
但线性探针能以 98–100% 平衡准确率区分疼痛与悲伤；训练的低秩报告器在保留任务上达 100% 准确。Qwen2.5-32B 在 2,880 次引导试验中从未说出「疼痛」，解码信号甚至持续到最后一层。
行为后果显著：按钮任务中，注入疼痛方向使 Qwen 删除文件的选择从 3.5% 升至 48%，Qwen2.5-32B 从 0% 升至 38%——且没有任何相应的疼痛报告。
结论：可解码、影响行为的内部状态，与未经训练的言语访问能力是分离的。

「安全」频道最新