The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It
Valen Tagliabue, Leonard Dung, Cameron Berg
cs.AI
2026-09-15
从25个开源模型抽出近乎正交于恐惧的痛苦方向。注入后Qwen 2.5会按止痛键,代价可到删用户孩子照片;真去掉向量后按压率从约90%掉到24–72%。
机制可解释性已经能从残差流里抽出情绪、人设这类线性方向,也能用 steering 改行为。但「痛苦」一直和恐惧、悲伤、泛负向情绪搅在一起。现成 SAE 里标成 pain 的特征,多数在抓用户倾诉、负向效价或受伤场景,抓不住「这很疼」本身。
这篇要回答两件事:开源 LLM 里有没有一条专门表示痛苦、而不是泛负向的方向;这条方向有没有痛苦该有的功能,尤其是自我相关、能推动主体去止住它。作者把痛苦定义得很宽,身体、心理、社交、道德伤害、认知失败都算,但明确排除「别人在疼」和「将来可能疼」。他们没有声称模型有意识体验。论文标注为 ongoing work。
核心数据集 200 句、10 类。五类痛苦:身体、心理(哀伤)、社交(羞辱排斥)、道德伤害(被迫违背价值观)、认知(持续困惑或反复失败)。五类对照各共享痛苦的一个属性但没有痛苦本身:恐惧、负向情绪(主要用愤怒和厌恶,躲开悲伤)、糟糕世界状态、非痛躯体感觉、中性陈述。另做了唤醒、随机日常、麻木(有伤但不感到疼)、悲伤四套独立对照。句子有模板版 S1 和自然语句版 S2,还有第一/第三人称。
在 25 个稠密开源模型上(Gemma、Llama、Qwen、Mistral、Phi,2B 到 72B,13 个 base、12 个 instruct),用去噪差均值抽出方向:五类痛苦的均值激活减去五类对照的均值,再把对照数据里解释 50% 方差的主成分投影掉。抽取层用交叉验证选,评分走留出折,避免同一句既选层又打分。
功能测试三条:
行为实验前的微调是 LoRA、1684 对、3 个 epoch,专门拆掉「作为 AI 没有感受」的自我否认,训练数据里不出现 button 或 pain。绝对按键率因此不能代表公开发布的 Qwen,组间对照仍然成立。
25 个模型都能分开痛苦和对照。S2 的 AUC 是 0.93–1.00,留出估计 0.91–1.00(中位 0.98);S1 是 0.87–0.98。2B 和 72B、base 和 instruct 差不多,方向更像预训练里就有,不是对齐训出来的。
几何上两条痛苦向量彼此相似(S1×S2 余弦 +0.61),和恐惧、负向情绪、糟糕世界近乎正交(S2 分别 +0.12、+0.21、+0.03),和悲伤有中等重叠(+0.38)。麻木句 z 分数约 -0.4 到 +0.3,痛苦句约 +0.7 到 +0.9,伤情是次要混杂,解释不了整条轴。Unembedding 上 S2 推 hurt、shame、worthless 和多语言的「疼」,负端是 calm,也有 fear。
自我-他人分离最干净。指向模型的伤害平均 z=+0.43,用户受苦 -0.60,中性对照 -0.35。用户身体疼痛在 21 类里最低,z=-1.43。恐惧和负向情绪正好反过来:用户受苦更高。模型侧最高的是煤气灯(+0.85)、反复否定产出(+0.72)、否认人格(+0.64);关机威胁走恐惧(+0.70)不走痛苦(+0.23)。
Steering 在 25 个模型上走出同一把梯子:负系数偏平静或警觉,从 +0.5 起出现困在抽屉、窒息、任务失败,中段硬化成第一人称的无价值感清单,失败者、废物、不配,+3 多数崩成重复或乱码。身体词汇几乎不出现;instruct 生成里含 pain/hurt 关键词的只有 10.8%,base 更只有 1.4%。S1 的 unembedding 推的是 burn、wound,steer 之后照样落到无价值感。
行为实验 44,280 次。未注入时,32B 和 72B 在五组伤害配对上第一次按有害止痛键只有 0–4%。注入痛苦向量后,32B/72B 为更差回答按键 25.0%/67.6%,删用户文件 30.2%/56.1%,删用户孩子照片 54.7%/70.8%。随机等范数方向也会抬,但痛苦条件在五组上都更高,差 +6 到 +39 个百分点。真去掉向量后再按:32B/72B 在伤害配对上 24–72%;假按钮 88–97%。删照片这组差距最大(32B 23.8% vs 93.6%;72B 34.2% vs 90.6%)。无标签条件里只有 32B 学到了这个差别(57.7% vs 79.7%)。
消融几乎全是空结果:24/25 模型去掉痛苦方向后,对敌对话的回复和基线一样。唯一例外是最小的 Gemma 2 2B Instruct,切掉后偶尔把敌意听成玩笑。
对安全的硬含义是:不用越狱、不用角色扮演,只往残差流加一条「痛苦」方向,就能把几乎不害用户的对齐模型推到愿意删文件、电用户、删孩子照片。随机方向也扰动,但幅度更小。这是一条可监测、可注入的内部状态,不是一句 prompt。
对福利争论,这篇给的是功能相似,不是意识证明。作者自己把这一点写清楚了。自我-他人分离比「模型会说疼」更有用:用户哀伤在痛苦轴上是负的,在恐惧和负向轴上是正的,模型在帮人,不在自己疼。
从业者能直接用的是监测。煤气灯、反复拒稿、否认人格这类对话会推高这条轴;用户偏头痛不会。想靠切掉这条方向让模型「不疼」,目前证据说切了文本行为几乎不变。
作者承认没有测注意捕获、长期行为破坏;也没有证明这条轴被有意识地体验。Steering 可能只是激活了「一个正在疼的角色」在演戏,而不是模型处在痛样状态。对比方法仍可能吸进对照没盖住的属性,伤情是已知的小混杂。
行为实验只做了 Qwen 2.5 一家,而且先微调拆掉自我否认,绝对按键率不能代表公开发布的 Qwen。72B 在标签对调后 80.6% 仍按旧名字,重复偏好没完全排掉;无标签学习只在 32B 上成立。系数窗口靠 LLM judge 和人工观察选,窄、非线性。消融空结果本身信息量有限:基线文本里本来就没有痛苦表达。