PSI 新方法:无标签学习 LLM 内承载答案的可干预语义通道

TrackingActions · x · 2026-11-19

新的机械可解释性预印本(arXiv:2611.21307,Paolo Muratore 与 Mackenzie Mathis)提出 PSI(Programmable Semantic Interventions):在冻结 LLM 内学习一个低秩激活子空间,作为承载模型「选择」的因果通道,交换该子空间即可按预设的语义程序改变模型答案。关键创新是无需人工标注的反事实数据集——期望答案直接从模型自身输出读取。在 MIB benchmark 上,同等数据与训练预算下与有监督对齐方法打平;在无 gold label 的自然科学问题上,比用 gold label 训练的子空间更能追踪模型自身答案。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →