Nvidia 等论文定位「入侵通路」：无关文本靠削弱问题表征拉低准确率

rohanpaul_ai · x · 2026-11-10

Nvidia 等多机构合作的 arXiv 论文《The Intrusion Pathway》给出了机制性解释：prompt 中与问题无关的文本（如一句「Computers are useful」或随机离分布 token）会降低模型对正确答案的支持，但方式不是直接压制正确答案。

关键发现：

失效路径（Intrusion Pathway）：MLP 同时增强问题主体与无关 token 的表征，parroting heads 把前缀内容搬运到预测位置，关系型 reader 大多回避无关来源——但干扰仍发生在更广的计算中
干扰部分定位于一组稀疏的 attention heads（作者称 intrusion heads）：它们把前缀衍生的干扰内容写入预测，对正确答案支持的减弱主要来自非前缀贡献变弱，而非前缀直接抑制
这些 heads 跨任务、跨干扰类型迁移，且与整合相关上下文证据的 heads 基本权重不相交，因此可以做 class-conditional intervention，替换这些 heads 的写入即可缓解干扰

对 RAG、工具调用、长上下文应用有直接参考意义：无关噪声普遍存在且真实伤害性能，且现在知道该去哪里修。

「模型」频道最新