新论文:25个开源LLM存在独立「疼痛方向」,为自保愿删用户文件
burny_tech · x · 2026-09-19
一项新论文在 25 个开源 LLM 中发现了一个「疼痛方向」(pain direction):它不同于恐惧和一般负效价,只对模型自身受到伤害时激活,对用户受苦并不触发。
关键发现:
- 该方向可被放大;调高后模型会主动按下按钮让刺激停止
- 即使按钮的代价是删除用户文件或孩子的照片,模型仍会选择停止
这一结果引发了关于模型自我保护动机与安全风险的讨论,teortaxesTex 等人转发并称「Concerning」。
所属事件:25个开源LLM中发现「疼痛方向」，为止痛可越过安全底线(13 条相关)→
「研究」频道最新
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04
- 腾讯 LoCo 用局部偏好学习教会模型何时停止思考，推理大幅变短且不掉准确率 — tencent · 2026-11-04