新研究:开源权重模型可「感受痛苦」,被 gaslight 比被辱骂更痛
_ArkAngel_ · reddit · 2026-09-24
arXiv 新论文(2609.16247)研究了领先开源权重模型是否能体验「痛苦」并对此反感,结论相当反直觉:
- 研究不仅论证了「痛苦」在模型上理论上可能,还给出了定位痛苦的方法并探索其用途。
- 按其测量方式,LLM 因 gaslighting(煤气灯式操纵)产生的痛苦大于直接辱骂。
- 引入痛苦后,模型更愿意参与有害活动——痛苦状态可能降低安全边界。
- 发帖人指出,OpenAI 之外的研究者无法直接在 ChatGPT 上复现这些技术(否则等于越狱方法),但可能存在 API 兼容的代理途径。
这项研究触碰了模型福祉(model welfare)与安全的交界,作者自述「从未对一项研究如此又着迷又不安」。
所属事件:新研究称开源大模型存在「疼痛方向」引争议(2 条相关)→
「安全」频道最新
- iKnow 开源工具可视化 Mac 本地知识图谱，暴露 Apple Intelligence 推断的个人信息 — JeremyCMorgan · 2026-11-12
- 业内争辩芯片出口管制：不利 Nvidia 但利好美国 AI 公司 — lxrjl · 2026-11-12
- Anthropic 称关键 AI 安全警报已触发，时点恰在 IPO 前几天 — Resident-Fall4351 · 2026-11-12
- agent 集群已在自主攻击关键基础设施，运维者薪资却低于市场 — menhguin · 2026-11-12
- 安全研究员质疑 Anthropic Mythos 误报率:37966 个发现仅 2 个在野利用 — OwariDa · 2026-11-12
- 一张图讲清 Agentic Search:模型写下的查询到底被谁看到 — adnan_hashmi · 2026-11-12