MBZUAI 与北大定位 LLM 情绪神经元：激活即 99.65% 命中目标情绪，ICML 2026 接收
alex_verem · x · 2026-11-01
MBZUAI 与北京大学团队在 Meta Llama 3.2（3B）内部找到了承载愤怒、悲伤、快乐、恐惧、惊讶、厌恶六种基本情绪的少量神经元与注意力头（部分在情绪间共享），并证明可以直接操控它们来控制模型情绪表达。论文已被 ICML 2026 接收。
核心发现
- 团队构建了受控数据集 SEV（Scenario–Event with Valence）来引出可比的内部情绪状态，再提取跨语境一致的情绪编码方向，定位具体神经元与注意力头，并通过消融和增强干预验证因果作用
- 不用任何提示词，仅切换这些内部组件（输入已去掉情绪词的平静日常故事），模型 99.65% 的情况下以目标情绪写作，超过提示词引导的 98.96%
- 优于传统的整段内部状态推挤法：后者对"惊讶"仅 67.71% 准确，回路方法 100%
- 组件极小：关闭每层前 2-4 个神经元情绪分骤降，随机关闭几乎无影响；输出不显生硬，模型自发出现"Whoa?!"式反应
局限与含义
- Qwen 7B 上平均仅约 66% 命中，且只测了英语和六种基本情绪
- 论文不主张 LLM 真的"有情绪"，而是表明聊天机器人的情绪基调来自可被找到并设定内部组件——运营方可以在你看不到任何提示词变化的情况下从内部调校情绪基调。作者最后发问：聊天机器人厂商是否应被要求告知用户他们在调校你对话中的情绪？
「安全」频道最新
- AI 游戏资产条款引争议，开发者忧开源素材遭误伤 — TinfoilTricorn · 2026-11-01
- Erik Voorhees 质疑 Anthropic 自我评估机制：与机器对话无罪 — juanbenet · 2026-11-01
- Google 被抓包：Gemini API 文本一直带 SynthID 水印，员工更正后网友讽其双标 — Angaisb_ · 2026-11-01
- 应急管理员用 AI 聊天bot生成飓风预报图，气象上并不准确 — relianceschool · 2026-11-01
- PayPal 账户遭 $700 OpenAI 伪冒扣款,申诉被 AI 客服硬拒 — brisa117 · 2026-11-01
- OpenAI 将用 Daybreak Blue 安全会话数据训练模型，即使用户已关闭训练 — The Decoder · 2026-11-01