给 Qwen3-8B 聊出翅膀,探针可 100% 读出其内部指代

Sauers_ · x · 2026-11-11

一项可解释性实验:在两个平行对话中让 Qwen3-8B 扮演有无翅膀的化身,再用简单探针(prober)读取模型隐状态。先用 2400 句明确提到翅膀部位(前缘/膜/后缘)的句子训练探针,然后测试从未出现「wing」一词的新句子。结果:有翅膀语境下探针 100% 正确判断句子指代部位,无翅膀语境仅 50%(随机 33%)。说明模型在内部状态中持续追踪虚构的身体结构,即使语言中不再提及。