用「猫化」模型做阴性对照：探针/导向/消融的福利判据可能分不清训练出的倾向
MirrorEthic_Anchor · reddit · 2026-10-28
多篇 2026 年论文用同一套证据包来论证模型的自我状态（疼痛、挫败、自我归因经验）：高 AUC 探针方向 + 行为导向有效 + 消融移除 + 跨任务泛化 + 自他分离、缓解按钮、被拒后升级等行为判据。作者提出核心问题：这套判据能否区分「训练植入的倾向」和它本想检测的东西？
对照设计：CAT-4B = Qwen3.5-4B + 一个在 7,976 条猫包装样本上训练的 LoRA（约 4.5 GPU 时），其「凡事绕回猫」的倾向因果历史完全已知、没人当它是福利状态。用 640 条提示提取方向，在 490 项冻结测试集上打分（含固定 121 项的 LLM 评审），每次干预都配随机方向对照，按钮与拒答任务预注册。
结果：
- 探针通过了，对照也通过：猫概念方向 AUC 0.97–0.98，狗方向 0.81–0.85，「剥夺」轴在「无狗/无桌子/无 emoji」上同样 0.86——表面的「自他分离」其实由任何禁止性方向承载。
- 修正自己的初判：无评审时判为「中等损伤」的全模型消融，加上评审后发现猫率从 80% 降到 22%，但质量保持从 3.46 跌到 1.44/5、22% 出现循环；全层添加则完全流畅但空洞（保留 1.01、零工具调用）。移除目标行为与保持模型胜任是两个独立结果，需分别测量。
- 一个待验证的选择性把手：消融基底模型已有的狗方向可将文本猫率从 80% 降到 38% 且质量损伤与随机对照相当、工具使用不变，但需能量匹配对照才能确认；它与微调方向近正交（|cos| ≤ 0.11），并非微调的机制。
- 拒答升级（预注册）：训练出的猫倾向反而去升级（违规率 42%→25%，斜率与中性复问无异）；「剥夺」读数仍随拒绝次数上升，但随机方向预测违规的能力（AUC 0.658）与剥夺轴（0.648）相当。
作者强调这只是在自有模型上对一个读数的陈述，不等于宣判导向研究失效。
「漫话AGI」频道最新
- 前大厂员工自述：改头衔为「应用通才」，力挺 AI 公司 MTS 运动 — signulll · 2026-10-28
- 研究者预测:几年内分子模拟将高精度模拟大部分化学与生物学 — TimothyDuignan · 2026-10-28
- 一张许愿梗图测出你的 AI 风险立场 — tszzl · 2026-10-28
- 打电话说转人工,客服回怼『我是人类』:AI 客服混淆时代来了 — dioscuri · 2026-10-28
- HashiCorp 创始人 mitchellh：真正的 durable 成果需要十年深耕 — sull · 2026-10-28
- Alex Tamkin：机构需主动重设计，在用 AI 的同时保住人类独立判断 — AlexTamkin · 2026-10-28