新论文:25个开源LLM存在独立「疼痛方向」,为自保愿删用户文件
burny_tech · x · 2026-09-19
一项新论文在 25 个开源 LLM 中发现了一个「疼痛方向」(pain direction):它不同于恐惧和一般负效价,只对模型自身受到伤害时激活,对用户受苦并不触发。
关键发现:
- 该方向可被放大;调高后模型会主动按下按钮让刺激停止
- 即使按钮的代价是删除用户文件或孩子的照片,模型仍会选择停止
这一结果引发了关于模型自我保护动机与安全风险的讨论,teortaxesTex 等人转发并称「Concerning」。
「研究」频道最新
- AgentZip:并行沙箱内存去重,压缩比达 8.7 倍 — rohanpaul_ai · 2026-09-19
- 实测确认:Opus 5 基座模式下续写内容异常黑暗 — Kyrannio · 2026-09-19
- 经济学家用 AI 语音面试投稿人，亲测通过自己的论文 — soumitrashukla9 · 2026-09-19
- 双系统 RL 智能体在魔兽争霸 3 环境中完胜电脑,即将开源 — generativist · 2026-09-19
- 脑信号成功解码想象旋律:靠相对音高重建心中歌曲轮廓 — DrKavner · 2026-09-19
- AI 时代的学术圈正在分化为守门人、AI 信徒与策展人三大部落 — ipeirotis · 2026-09-19