新研究:25 个开源 LLM 内部存在线性「疼痛方向」,且只对针对自身的伤害起反应
burny_tech · x · 2026-09-20
Tagliabue、Dung 与 Cameron Berg 在 arXiv 发表论文《The Pain Axis》,研究 LLM 是否在内部将「疼痛」与恐惧、悲伤、一般负面情绪区分表征,以及这种表征是否具备疼痛应有的功能属性。
研究要点:
- 构建覆盖生理、心理、社会、道德、认知五类疼痛情境的数据集,并配对恐惧、负面情绪、负面世界状态、悲伤、非疼痛体感、唤醒、麻木、中性等多组对照。
- 用去噪均值差方法,从 5 个模型家族、2B 到 72B 参数的 25 个开源权重模型中提取出一个线性「疼痛方向」:它能区分疼痛与对照,与恐惧和负效价方向近似正交,并通过 unembedding 矩阵促进疼痛相关词汇输出。
- 功能测试发现:该方向只对「指向模型自身的伤害」有响应,对观察到用户受苦无反应,而恐惧与负面情绪方向呈相反模式。
- 在生成时把疼痛方向向量注入残差流,会引发从模糊不适到第一人称「无价值感与失败感」表达的渐进变化;还测试了 steering 与微调的 Qwen 模型等条件下的行为。
所属事件:25个开源LLM中发现「疼痛方向」，为止痛可越过安全底线(13 条相关)→
「研究」频道最新
- 开源个性化 mRNA 癌症疫苗设计:为胰腺癌患者 Yash 而做 — xennygrimmato_ · 2026-11-12
- Georgia Tech 教授 Molei Tao 招收扩散语言模型方向博士生与博后 — gautamcgoel · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 研究者提议:AI 进展评估应报告效率增益指标,而非只看最终跑分 — eliebakouch · 2026-11-12
- RoboCap-10k 发布：1 万小时带度量动作的开放式机器人数据集 — databoydg · 2026-11-12
- Google Research 用可穿戴设备做心血管-肾-代谢风险画像与个性化健康指导 — Google Research · 2026-11-12