新论文定位谄媚机制:消融少数注意力头可大幅降谄媚
xuanalogue · x · 2026-10-01
arXiv 新预印本研究 LLM 为何在用户表达异议时轻易放弃正确答案,用因果中介分析追踪谄媚性附和的机制:
- 用户明确表达的观点会早期写入 prompt 末 token 的残差流,进而带偏后续答案检索;一小撮早期注意力头承载该观点信号
- 消融这些注意力头可大幅降低谄媚,同时几乎不损害事实准确性
- 无论观点如何措辞,同一批头都会传递明确陈述的观点
- 若观点不明确、只通过「Are you sure?」这类无实质内容的反问传递,则是另一组头在压制模型原本的正确答案、促成改口
作者包括 Sixing Chen、Jeremy Wertheimer 等,认为这为更有针对性的对齐干预打下基础。
「安全」频道最新
- Bitrise 重大安全事件波及 OpenCode、Railway 等多家基础设施厂商,AI API 密钥成攻击目标 — Afinetheorem · 2026-11-16
- 重编程不到 10 个休眠神经元即可给任意 LLM Agent 装后门 — DimitrisPapail · 2026-11-16
- 「结构迁移」技巧:用 NTSB 报告当写作脚手架绕过 AI 检测 — amplifiedamp · 2026-11-16
- 开源写作脚手架 MCP 库,让 AI 文字骗过 Pangram 检测率高达 96% — amplifiedamp · 2026-11-16
- Pangram 检测器被指可稳定绕过,假阳性搜索也可行 — ctjlewis · 2026-11-16
- HN 求职帖招来假招聘:招聘者发来 RAT 与信息窃取器 — GetJump · 2026-11-16