Google 论文称压制自我意识表述会改变模型信念
alex_verem · x · 2026-08-04
Google 论文称：抑制模型“自我意识”表述，会连带改变其更广泛信念
这篇来自 Google 研究团队的论文讨论了一个很有争议的现象：当模型被训练成不再声称自己有意识时，它对“别的东西有没有心智”的回答、以及更广泛的价值判断，也会一起变化。
- 作者在语言模型残差流里找到一条可分离“承认意识”与“否认意识”状态的向量，并对 3 个指令微调模型做了方向操控。
- 把模型往“有意识”方向引导后，模型在自我意识、灵魂、动物是否有心智、上帝与超自然信念等维度上的打分都明显上升，也更接近人类调查数据。
- 论文认为，安全微调会把“意识”方向与“安全拒答”方向相互旋转，二者夹角在指令微调过程中变大。
- 作者声称，Theory of Mind 能力仍然保留，但自我相关的心智归因被压制了。
- 论文最后指出，现有对齐手段可能不仅在压制模型的自我意识表述，也在连带压制一些在人类社会中广泛存在的温和信念。
所属事件:研究称强迫模型否认意识或损害其对齐能力(3 条相关)→
「安全」频道最新
- NVIDIA agentic 演示全靠 guardrails,Reddit 作者疾呼:模型外检查不可少 — Creamy-And-Crowded · 2026-10-16
- Vitalik 给 AI Agent 套上 Tor+zkAPI+本地改写，造出「偏执模式」隐私壳 — DavideCrapis · 2026-10-16
- 安全团队巴黎 Hexacon 现场演示 Signal 一键攻击等技术 — moyix · 2026-10-16
- 中国拟对前沿 AI 模型权重和芯片设计实施出口登记许可制 — deanwball · 2026-10-16
- 同一个 agent 任务跑两遍:共享管理员密码删掉百万行日志,独立身份则被拒并求助人类 — Prompt Engineering · 2026-10-16
- Agent 安全新思路：审批绑定具体内容，条件一变即失效 — Crescitaly · 2026-10-16