逆向工程发现：Gemma 4 模型内部仍潜伏着 Bard 人格
dejanseo · x · 2026-08-08
一位开发者通过机制可解释性方法对 Google 的 Gemma 4 模型进行了逆向工程研究，意外发现旧身份“Bard”仍作为潜在身份潜伏在模型之中。
- 实验现象：通过消融特定层的数千个 MLP 神经元，模型对“你叫什么名字”的回答会从“Gemma 4”变回“Bard”。
- 底层机制：模型在不同强度下存储了多个候选身份，解码时最强的身份会胜出。部分移除当前身份的证据，就会让旧身份浮现。
- 工程管线：作者构建了一个下钻分析管线，利用 PyTorch hooks 在推理期间进行干预（将特定组件置零），从而追踪从聊天回答到具体权重向量的行为映射。文章还详细介绍了两种失败和两种成功的干预方法。
「研究」频道最新
- ETH Zurich 提出 LFD：用冻结 LLM 当老师，自然语言驱动药物设计生成器 — rohanpaul_ai · 2026-10-16
- 社区热议能否用 Claude Sonnet 3 对话数据训练模型 — Sauers_ · 2026-10-16
- 有人求购 Sonnet 3 对话数据集引出社区共享 — arm1st1ce · 2026-10-16
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- 网友自建 LEGO 搭建评测：GPT-6 Astra 力压 Opus 夺魁 — TheLegoless · 2026-10-16
- tszzl 给出理论：Tornado 经 Apache 一路联想到 Colorado — tszzl · 2026-10-16