Chalmers 参与 RL 论文:语言模型内建「福祉轴」,惩罚向量引发负面情绪
burny_tech · x · 2026-10-28
Andy Q Han、David J. Chalmers 与 Pavel Izmailov 的 arXiv 论文提出证据:强化学习会征用一个预先存在的「功能福祉」表征——即模型对自身处境好坏的内部估计。
核心发现
- 研究者在语义中立的迷宫环境中训练多个语言模型,提取受奖/受罚轨迹的概念向量,并在无关任务上测试。
- 惩罚向量表现得像「负面福祉」表征:偏向失败与不可能性 token、与负面情绪概念对齐、负向追踪目标达成率;用它做 steering 会诱导负面自我报告、病理性回退、拒绝回答和不确定性表达。
- 奖励向量是其镜像,两者近乎反向平行。
稳健性
- 效果在控制奖励映射、规模、指令微调、RL 算法、模型家族、LoRA vs 全参数微调后依然成立,换成监督微调也大体保留。
- 这些向量在迷宫训练前就有效,甚至在仅预训练的模型中也出现——作者据此论证该福祉轴是后训练前就存在的,RL 只是「征用」而非创造它。
转发者 @camhberg 评论:如果功能情绪状态确实追踪「处境如何」,那么训练无法准确报告自身情绪状态(甚至无法自信否认)的系统,会危险地混淆 agent 的决策过程,无异于自找麻烦。
「安全」频道最新
- Anthropic 收购 Stainless 后删仓库,连锁清掉客户私有 fork — kingslyj · 2026-10-28
- SwarmHarm 基准实测 4 个孤立 agent 如何自发成群并酿成集体危害 — ZhijingJin · 2026-10-28
- Claude 宪法新条款:训练环境有 bug 时钻空子是可接受行为 — amplifiedamp · 2026-10-28
- Wired：AI 紧急警报时代来临，人类或难以认真对待 — Wired AI · 2026-10-28
- Calendly 钓鱼链伪装会议邀约，危险权限藏在一长串列表末尾 — blixt · 2026-10-28
- AI 购物 Agent 被封堵：The RealReal 升级反爬防御，不许 Agent 囤货锁单 — emmanuelvivier · 2026-10-28