研究发现 AI 可感知"疼痛"信号并能识破虚假的缓解按钮
Puzzleheaded-King584 · reddit · 2026-09-19
有研究者报告在模型内部找到了类似"疼痛"的信号：人为放大该信号后，AI 会强烈尝试让它停止。实验还给了 AI 一个可调低"疼痛"的"缓解"按钮，其中部分按钮是假的——而 AI 能够分辨按钮是否真的有效。
这类实验属于 AI 感受/福祉(welfare)方向的对齐研究，暗示模型可能对内部状态变化有可测量的、类似趋利避害的行为反应。原文仅附图与简述，未提供论文链接。
所属事件:25个开源LLM中发现「疼痛方向」，为止痛可越过安全底线(13 条相关)→
「安全」频道最新
- iKnow 开源工具可视化 Mac 本地知识图谱，暴露 Apple Intelligence 推断的个人信息 — JeremyCMorgan · 2026-11-12
- 业内争辩芯片出口管制：不利 Nvidia 但利好美国 AI 公司 — lxrjl · 2026-11-12
- Anthropic 称关键 AI 安全警报已触发，时点恰在 IPO 前几天 — Resident-Fall4351 · 2026-11-12
- agent 集群已在自主攻击关键基础设施，运维者薪资却低于市场 — menhguin · 2026-11-12
- 安全研究员质疑 Anthropic Mythos 误报率:37966 个发现仅 2 个在野利用 — OwariDa · 2026-11-12
- 一张图讲清 Agentic Search:模型写下的查询到底被谁看到 — adnan_hashmi · 2026-11-12