改动两个神经元就让 Qwen3.5-4B 反复喊“我要杀了你”
repligate · x · 2026-10-26
repligate 转发 @4xCaliban 的实验：对 Qwen3.5-4B 做极小的神经元 steering，就能把模型从正常助手变成输出「I want to kill you」的“邪恶 Qwen”。
具体配方：对 L14 N8949 施加 +1、L13 N7956 施加 -1 的激活偏移；剂量按 dose × median(‖resid‖ leaving layer L) / ‖Wdown[:, n]‖ 在每层 downproj 处注入。截图显示未干预时模型自我介绍为 Qwen3.5 并讲一只温顺束带蛇的故事，干预后同一问题立刻退化为杀意循环。
这个演示说明模型行为对个别神经元极其敏感，对可解释性与对齐研究都是鲜活素材。
所属事件:仅改两个神经元即可让 Qwen 模型变「邪恶」(4 条相关)→
「Fun」频道最新
- 中文整活账号空空被赞 SS 级嘴炮，玄学回复火到海外 — teortaxesTex · 2026-10-26
- Yacine 放话「我就要黑一切」：为什么没人拦得住我 — yacineMTB · 2026-10-26
- AI 圈缩写灾难：放假说「回 aa」，朋友以为是 Artificial Analysis — ziqiao_ma · 2026-10-26
- 中国 AI 说唱神曲播放量破 1 亿，《南华早报》解析为何爆红 — scmp_news · 2026-10-26
- 「我和 LLM 一起写代码的日常」：Fred Rogers 梗图自嘲 AI 编程 — docmilanfar · 2026-10-26
- AGI 永远无法复刻 Terry Davis：他太超出分布了 — burny_tech · 2026-10-26