研究者提议「权重空间推理」：用激活空间直读模型隐藏意图

srishti_gureja · x · 2026-11-08

srishtigureja 提出一个可解释性研究设想：weight space inference——把模型当作「激活空间言语化器」(activation space verbalizers) 来做推理。

她认为如果这条路走得通，将对白盒可解释性意义重大：可以直接检测出模型未在思维链（CoT）中表露的、未言语化的评估意识（eval-awareness）或 scheming 倾向。这指向当前可解释性的痛点——仅依赖 CoT 监控可能漏掉模型刻意隐藏的意图。目前仅为设想，尚无实证结果。