NVIDIA 论文揭示无关文本损害大模型的「入侵通路」

NVIDIA 与多所高校合作的 arXiv 论文《The Intrusion Pathway》揭示了无关上下文损害语言模型的机制：在 RAG、工具调用与长上下文场景中混入的无关文本，主要不是直接压制正确答案，而是通过削弱问题表征、走特定「入侵通路」来拉低准确率。研究定位出约 10 个关键「入侵头」注意力头，屏蔽它们可挽回约 57% 的精度损失，为缓解大模型噪声上下文问题提供了机制性解释与干预方向。

2026-11-10 ~ 2026-11-10 · 2 条相关