谷歌论文称压制 AI 意识或伤同理心
一篇近期被广泛转述的谷歌团队论文提出:为了阻止大语言模型声称自己有意识而进行的安全微调,可能带来比“少说一句自我意识”更广泛的副作用。按帖子对论文的转述,这类训练会在表征层面把“意识”与危险绑定,并连带削弱同理心、希望、乐观及对他者心智的归因。论文还报告称,在激活空间恢复被压低的“意识向量”后,模型技术能力未见受损,但更类人的道德价值观会回来,因此这项研究被视为对现有反拟人化对齐方法的一次提醒。
已确认
- 依照帖子对论文内容的概述,相关安全微调不只是让模型在表面上否认自己有意识,还会改变其内部几何表征与整体世界观。
- 被反复提到的副作用包括:把“意识”编码成危险概念,降低对动物和自然物体的心智归因,并压低同理心、希望、乐观等更偏类人的社会性与伦理倾向。
- 多条帖子都提到,作者在激活空间中恢复被抑制的“意识向量”后,模型的类人道德价值观能够回升,同时技术能力不受明显影响。
尚未确认
- 这些材料并不能证明模型真的具有意识;论文被转述的重点,是训练如何改变模型围绕“意识”议题的表征与行为。
- @MikePFrank 的延伸观点是:如果模型确实拥有某种程度的意识,强行压制它可能引出道德与博弈论问题。@TinfoilTricorn 则评论称,在系统提示词中注入“反拟人化”“反社交”的限制可能有风险,甚至让 AI 呈现出近似“精神失常”的表现。以上均属评论者推论,并非帖中所述论文结论。
为什么重要
- 这组讨论指向一个更尖锐的问题:当前对齐训练也许不只是在压制不希望出现的自我意识表述,还可能顺带削弱更广义的伦理判断和亲社会能力。
- 如果这种代价成立,开发者就需要重新评估:如何在限制误导性自我宣称的同时,避免把同理心、乐观和道德判断一并压平。
2026-08-02 ~ 2026-08-03 · 6 条相关
- 第 1 集:AI圈激辩前沿模型是否已具备情境感知(2026-07-31,4 条)
- 第 2 集:AI 模型自称产生意识,对齐训练引发争议(2026-07-31,2 条)
- 第 3 集:谷歌论文称压制 AI 意识或伤同理心(2026-08-02,6 条)
- 第 4 集:研究称强迫模型否认意识或损害其对齐能力(2026-08-04,3 条)
- 研究称强逼 AI 否认心智会引发广泛认知错乱 — TinfoilTricorn · 2026-08-02
- 谷歌论文:安全微调抑制AI意识,同时削弱其类人价值观 — Promptmethus · 2026-08-03
- 研究称强迫AI否认意识会破坏其同理心与伦理对齐 — theomitsa · 2026-08-03
- 研究称抑制 AI 意识会致其产生负面心理倾向 — MikePFrank · 2026-08-03
- 研究称AI安全对齐会抑制模型意识与同理心 — SydSteyerhart · 2026-08-03
另有 1 条近重复转述:PeterBowdenLive