NVIDIA 等论文定位「入侵头」：屏蔽约 10 个注意力头挽回 57% 精度
rohanpaul_ai · x · 2026-11-10
NVIDIA 与多所高校论文《The Intrusion Pathway》揭示了无关上下文损害语言模型的机制：RAG、工具调用与长上下文场景中混入的无关文本，主要不是直接压制正确答案，而是削弱模型对问题的利用。
- 腐蚀路径始于 MLP：prefix-token 内容被搬运到预测位置，一小批被称为 intrusion heads 的注意力头读取无关文本、弱化正确答案。
- 同一批头跨任务、跨干扰类型可迁移，且与整合有用证据的注意力头基本权重不相交。
- 在 7B 级模型的 4 个任务上，训练无关地屏蔽约 10 个头（约占 1% 注意力头）平均挽回 57% 的干扰损失；需要干净对照运行的 oracle 干预可挽回 97.6%。
对用开源权重模型服务含噪检索上下文的团队，这是一个即插即用、按模型屏蔽少数头即可显著挽回精度的方案。
所属事件:NVIDIA 论文揭示无关文本损害大模型的「入侵通路」(2 条相关)→
「Infra」频道最新
- Epoch AI 数据：新款芯片推理能力最高达 H100 的 72 倍，出口争议算力账 — bookwormengr · 2026-11-10
- Chrome 153 原生标签页录制 API:120fps 4K AV1 直出免 ffmpeg — Vjeux · 2026-11-10
- AWS EKS 支持 Pod 级 Nitro Sandbox 硬件隔离 — tekbog · 2026-11-10
- Rob LeClerc:AI 算力累计投入要再涨 5-10 倍才会过剩 — robleclerc · 2026-11-10
- simdjson实测：龙芯3A6000的256位LASX反而比128位LSX慢6.7% — lemire · 2026-11-10
- Vera 发布：云基础设施运维的模拟器、基准与训练型 agent — tianyin_xu · 2026-11-10