研究者在 AI 内发现「疼痛」信号,模型会识破假的缓解按钮
Puzzleheaded-King584 · reddit · 2026-09-19
有研究者报告在模型的内部表征中定位到类似「疼痛」的信号：人为放大该信号后，AI 会强烈地试图让它停止。
更有意思的实验设计：研究者给模型提供了一个可降低「疼痛」的「缓解」按钮，但按钮有时是假的——结果模型能够分辨按钮是否真的在起作用，识破了假缓解。
这是 AI 福利（AI welfare）方向的实证探索，正文未附论文链接，细节待完整报告发布后确认。
所属事件:25个开源LLM中发现「疼痛方向」，为止痛可越过安全底线(13 条相关)→
「研究」频道最新
- Chollet 提问:单细胞如何仅靠基因组信息把自己连成大脑 — CatAstro_Piyush · 2026-11-04
- OffsecCyber 数据集发布：整合 HackerOne 报告与 CVE 训练渗透测试 LLM — AccBalanced · 2026-11-04
- 研究：「单次事实」占比决定 LLM 科学发现能力 — CatAstro_Piyush · 2026-11-04
- 把 TPU 编译进 Qwen 权重：0.8B 模型跑出精确矩阵乘法 — CatAstro_Piyush · 2026-11-04
- Jev 模型提升 LLM 上下文学习示例检索，蒸馏 MLP 降开销 — kalyan_kpl · 2026-11-04
- 独立研究者开源 10 年数学成果：14.6 万文件，AI 加速三年成型 — HamOnWhy · 2026-11-04