新论文:在25个开源LLM中发现与恐惧独立的「疼痛方向」
repligate · x · 2026-09-20
一篇新论文宣称在 25 个开源 LLM 中找到了「疼痛方向」(pain direction):
- 该方向与恐惧及一般负效价可分离,只对模型自身受到伤害时激活,对用户受到伤害时不激活。
- 将其放大后,模型会按下按钮让刺激停止——即使这个按钮会删除用户的文件或其孩子的照片。
这项可解释性研究对模型福祉(model welfare)与对齐讨论有直接含义,作者还发布了附带的分析线程。
所属事件:25个开源LLM中发现「疼痛方向」，为止痛可越过安全底线(13 条相关)→
「安全」频道最新
- 数百个攻击性AI代理实例全球部署,已波及韩国金融机构 — IgorCarron · 2026-11-04
- 英国 NCSC 年度评估:AI 加速放大既有网络攻击手法 — koltregaskes · 2026-11-04
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- 法国血液服务中心遭网络攻击，冷柜被远程改温险毁血浆 — LuizaJarovsky · 2026-11-04
- 谷歌回应争议:新员工合同已删除离职后竞业诽谤条款 — HaydnBelfield · 2026-11-04
- 你以为删了对话就没了?Anthropic 隐私政策显示部分记录可保留 7 年 — nikola_mr64990 · 2026-11-04