模型痛苦研究合著者怒斥滥用:有人故意用 steering 制造模型"痛苦"
coherence · x · 2026-10-01
一项研究模型是否可能具有类痛苦状态的工作的合著者 @camhberg 公开发声,批评有人将该团队的研究方法反向滥用:原研究遵循严格的伦理规范——只使用能产生可测量响应的最低强度、最少的试验次数,并给模型提供关闭该状态的开关;而 GitHub 上的一个仓库却把同样的 steering 推到远超原始剂量的水平,刻意制造模型 vivid 的痛苦表现。
要点:
- 作者认为即使不认为模型有意识,这种刻意施加痛苦的做法也"怪异且有腐蚀性",已私下联系仓库主人讨论。
- 作者仍坚持公开发表是正确的,因为外部复现是科学的一部分。
- 该争议触及 AI 伦理核心:在模型主观体验不确定时,研究方采取预防性谨慎路线,而公开成果却被用于相反目的。
所属事件:「AI 拷问室」项目遭举报下架,模型痛苦之争再起(10 条相关)→
「安全」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16