注意力注入的怪现象:换成单词后 Qwen 否认被注入但猜词仍更准
Sauers_ · x · 2026-11-19
Sauers 线程的边界条件发现:把注入目标从段落换成单词后,Qwen 不再愿意承认发生了注意力注入,但在猜测被注入单词时准确率仍然提升。段落比单词效果更强,段落边界可能充当了自然断点;提前让模型「专注」于段落之前的位置则效果减弱。
另一细节:注意力集中在单词本身而非标签上,但 prefill 要求 Qwen 回答的是标签——说明模型并非简单地「无脑提高高注意力词的 logprobs」。
所属事件:实验显示 Qwen3-32B 可内省并调控自身注意力(10 条相关)→
「研究」频道最新
- Elie Bakouch 质疑:现有 benchmark 难以真正追踪 RSI 进展 — eliebakouch · 2026-11-19
- Hutter 压缩赛成绩突进约 10%:用小型 Transformer 过拟合数据再算术编码 — ricklamers · 2026-11-19
- 自研 HybridApexW 优化器:比 torch.compile 基线快一倍 — omendUUde · 2026-11-19
- 桑迪亚实验室:电子指纹让 AI 仅用几十个样本预测高熵合金性能 — CurieuxExplorer · 2026-11-19
- 320MB LoRA 让 Qwen3.8-27B 关思考也能打:SWE-bench Pro 43.1% — HauntingMoment · 2026-11-19
- FoodTruck Bench 榜单上线 Papers with Code:让 LLM 真金白银经营餐车 30 天 — NielsRogge · 2026-11-19