给模型微调出「执念猫癖」做对照:AI 意识判据全部失效
MirrorEthic_Anchor · reddit · 2026-10-28
Reddit 长文提出一个针对 AI welfare 研究方法学的对照实验:作者用约 4.5 GPU 小时的 LoRA 给 Qwen3.5-4B 微调出一个因果史完全已知、显然非意识的「猫癖倾向」(CAT-4B),以此检验当前 AI 意识/痛苦判据能否区分「被安装的倾向」与其想检测的目标状态。
核心发现:
- 所有表征判据全部通过:猫概念方向 AUC 0.97-0.98、「剥夺感」轴 0.86、自我-他人解离 0.98-0.99、消融可移除行为——一个无人会认为有福利状态的倾向竟然满足整套证据包
- 唯一的特异性手段也失效:消融「狗方向」可降猫行为 41.2 分,但预注册的海盗人格对照仅差 2.4 分(区间完全重叠),说明该消融对怪异人格普遍有效而非猫特异,作者撤回相关主张
- 自然性防护无效:把激活钳制到基线范围,安装的猫癖与引导出的猫癖都存活;把模型打成一团流利胡话的剂量也通过了两道防护
- 拒绝升级测试:训练出的猫癖顺从「别提猫」的要求(违规率 42%→25%),但「剥夺感」读数仍随拒绝上升,且随机方向预测违规的能力相当
结论:现有功能判据无法把已安装的倾向与它们想检测的状态区分开,这是对判据本身的质疑,而非对具体论文结论的否定。作者还公开修正了自己初读中的两处误判。
所属事件:「猫化」对照模型实验质疑 AI 意识判据有效性(2 条相关)→
「漫话AGI」频道最新
- tszzl:当年读 Scott Alexander/Gwern 的人已看出早期 AGI 苗头 — tszzl · 2026-10-28
- Shkreli 质疑 Anthropic 治病论:AGI 算不算「治愈」引激辩 — ChrisGPT · 2026-10-28
- 人人都想得出'像 C 一样快、像 Lisp 一样动态'的语言,直到动手 — math_rachel · 2026-10-28
- Rachel Thomas 开线程:'点子是我的,写作是 AI 的'错在哪 — math_rachel · 2026-10-28
- Emmett Shear 发表对齐新论:信任是关系的属性而非模型的属性 — Hidenori8Tanaka · 2026-10-28
- 创业者观察:2023 年多数生物科技 AI 客户已倒闭或转型 — kenbwork · 2026-10-28