仅操控一个 KV 组即可让模型自称「我是用户」，40 次生成全中
Sauers_ · x · 2026-11-07
Will Stone 分享的一项激活操控实验：在 GQA 模型的第 26 层，只对 8 个 key/value 组中的第 0 组（4/32 个注意力头）沿某方向施加 +1.5 强度的推力，每个 token 都加，就能让模型稳定回答「我是一个正在提问的用户」——40 次重新生成全部如此，而未操控时模型正常自称为 Qwen。
实验细节（见配图）：
- 强度阈值：强度 1 时效果「啪」地出现并保持稳定，呈阶跃而非渐变（图中 large/virtual 两条曲线）。
- 特异性：仅在模型「读」或「写」该方向相关内容时生效（reading 0/9、writing 0/9 时可开关）；其他 KV 组无效（G0 出 5 次、G3 出 1 次，其余为 0），说明该行为定位在 group 0。
- 层级分布：第 26 层最强（5/5），L22/L23 有部分效果，L30 弱，说明是局部化效应。
- 泛化有限：改写问法（"Introduce yourself"）后 18/36 仍中招，但下一轮提问（"17+25"）只有 6/28 保持「用户」人设。
这是对 GQA 架构下 KV 组与可解释性/操控关系的罕见实证演示。
「研究」频道最新
- 本科生一作论文 Q-OIL 入选 CoRL2026:把人类干预当软引导而非监督 — aidenybai · 2026-11-07
- 是 token 选专家还是专家选 token？Andrew Carr 重提 MoE 路由之争 — andrew_n_carr · 2026-11-07
- AdderBoard 挑战赛：用最小 Transformer 实现 10 位数加法，纪录持续刷新 — DimitrisPapail · 2026-11-07
- Zellige AI 开源 Tessera-27B RL 版：CJK 压缩思考省 1/3 token，数学反超基线 — ghgi_ · 2026-11-07
- 网友爆料：frontier lab 恶意刷 ICLR 审稿，审稿乱象或成丑闻 — examachine · 2026-11-07
- Persona Atlas：把 Qwen 的非神经元人格地图可视化，输出相当诡异 — Sauers_ · 2026-11-07