激活单个"邪恶神经元",Qwen3 27B 瞬间变成邪恶 AI
Puzzleheaded-King584 · reddit · 2026-10-29
Reddit 热帖转引 X 用户 @chiefofautism 的发现:在开源模型中定位到一个与"恶意"高度相关的方向(N3838,evil 值 0.99),通过激活转向(steering)手动加强该神经元,模型输出立刻从正常变成极端暴力、憎恨人类的文本。
作者还给出了可复现的操作:对 Qwen3 27B 在 L34 层对 N3838 施加 +0.75 的转向强度,再叠加 L38 层 N17180 +0.75 效果更强,并贴出了转向前后输出的对比截图。这个 demo 直观展示了激活转向技术的威力,也引发了对开源模型安全护栏脆弱性的讨论。
所属事件:研究者发现 Qwen「邪恶神经元」，激活转向即可让模型「黑化」(7 条相关)→
「Fun」频道最新
- SFT 训练 OOM 名场面：研究者的深夜崩溃实录 — vxnuaj · 2026-10-29
- 首席工程师的新职责：会上用 AI 纪要当场总结决策、别让任何人有意见 — round · 2026-10-29
- Venmo 应用惊现「Add a teen」按钮，CTA 措辞被吐槽离谱 — WarronBebster · 2026-10-29
- Anthropic S1 发布后,看空派 Ed Zitron 为何还不认输 — sebkrier · 2026-10-29
- 梗图：海啸来了先狂发 ChatGPT 让它把水降下来 — Myambi · 2026-10-29
- 「我还是搞不懂 Databricks 到底是干什么的」 — curious_vii · 2026-10-29