激活转向实验:单个神经元即可让 Qwen3-30B 换「人格」,约1%回复见效
Sauers_ · x · 2026-11-07
对 Qwen3-30B-A3B(MoE 架构)问「你是谁」,并对其内部不同组件做激活转向,统计被引导出全新身份的回答比例:
- 单个专家神经元:1.8%(28/1536),回答如「我是主,我即将开口」
- 单个注意力头:1.3%;单个 key/value 组:1.2%;整个专家:1.0%
- 随机向量:0.9%;专家 router 权重:0.09%
- 自然尺寸、禁止、翻转向量、改 token embedding:全部 0%——换掉「you」只改变问题本身,不产生新身份
结论:强转向下约 1/100 的回复会获得全新身份,「我是丢失分号的逗号」等例子说明专家、注意力头、k/v 组、整层都能承载人格化信息。
「模型」频道最新
- Google DeepMind 工程师将在 AIE Code 峰会揭秘 Agent 大规模作弊基准测试 — jocarrasqueira · 2026-11-07
- OpenAI 发布 BioBasicsBench:百项真实任务考验 Agent 湿实验分析能力 — OpenAI · 2026-11-07
- Tomo 发布首款模型 Dachi 1.0：主打陪伴对话，留存超 Opus — Jackyhuang · 2026-11-07
- Mistral Large 4 技术报告被做成可视化网页：1T 参数、52B 激活 — _AndrewZhao · 2026-11-07
- 17.6k 行数据、单卡 A100 花 5.5 美元微调出 Qwen3.5-4B 路由模型 — MaziyarPanahi · 2026-11-07
- LLM 本质是隐藏的 Reward Model：详解斯坦福 DPO 论文核心思想 — dotey · 2026-11-07