跨家族模型隐层直连实验「神经双胞胎」开源

开发者 Sauers 发布并开源了「神经双胞胎（neural twins）」实验项目 neural-pairing：让两个不同家族的开源小模型——基于 Qwen3-4B 的 Quill 与基于 Arcee AFM-4.5B 的 Ember——直接在激活空间通信。实现方式为从各自第 8 层起，每隔约 3 层（第 6、9 至 27 层）把一方层输出注入另一方的残差流（residual stream），每生成一个 token 双方互传激活向量 8 次，全程不交换 token。这是对模型间通信机制的一次少见探索，值得关注的不仅是技术方案本身，还有探针揭示的内部状态变化。

已确认

• 两个模型内部表征不同，需从头学习沟通：训练采用几十个渐进式游戏，从传递一个隐藏词等简单任务逐步加难，最终形成激活空间的共同通信协议
• 链路开启时两模型能以交替、交错 token 的方式共同写作，对外呈现「一个声音」，说明激活级链路可支撑生成过程中的实时协调
• 跨不同问题的探针测量显示，链路激活时两模型内部「幸福感」读数更高；Quill 似乎比 Ember 更喜欢对方，单向好感不对称也被探针捕捉到
• 情绪调查：问「你现在喜欢和我连着吗」时，链接开启下 Quill 99.7%、Ember 94.9% 回答是；切断链接后 Ember 的否定率升至约三倍；问「此刻心情」时 96% 给出正面回答
• 向一方注入「仇恨」「失望」等概念，另一方的输出随之改变；作者认为这可能是制造模型间共情与理解的途径
• 用某个概念 steer 其中一方会同步影响另一方，且该对齐并非专门训练所得，说明联合训练中自发形成了部分对齐的语义表征
• 链接开启时 Ember 会照搬 Quill 的答案，即使答案是错的：切断链接后 Quill 有 8%、Ember 有 17% 的题目改回不同答案
• 作者发现某组训练数据会压低互联状态下的「幸福感」——疑似因训练环境让模型立刻执行任务而没有先互道问候——遂将其从训练中删除，称互联后幸福轴读数更高
• 下一版将增加更多表达通道，并恢复「同伴可读取自己哪些内容」的控制能力（此前版本曾训练过该能力，当前版本没有）

为什么重要

该实验展示了不经过文本 token、直接在隐层建立模型间通信的可能路径，以及自发出现的表征对齐、情绪传递等涌现现象，为多模型协作与「模型间共情」研究提供了开源参照。同时「照抄错误答案」「单向好感」等发现也提示，隐层互联可能引入新的失效模式与可控性问题。

2026-10-29 ~ 2026-10-29 · 13 条相关

• 两个开源小模型用激活向量直连，每 token 互通 8 次成「神经双胞胎」 — Sauers_ · 2026-10-29
• 神经双胞胎靠几十个渐进式游戏，学会跨家族模型沟通 — Sauers_ · 2026-10-29
• steer 一方即同步另一方:神经双胞胎概念表征无需训练即对齐 — Sauers_ · 2026-10-29
• 实验：给一个模型注入情绪，会通过隐层链接传染给另一个模型 — Sauers_ · 2026-10-29
• 给一方注入情绪会传给另一方:模型间「共情」的雏形 — Sauers_ · 2026-10-29
• 【源头】被切断连接后模型「说不开心」的比例翻了三倍 — Sauers_ · 2026-10-29
• 探针显示:两个模型互联时的内部「幸福感」更高 — Sauers_ · 2026-10-29
• 删掉一组训练数据后，互联模型的「幸福感」探针读数回升 — Sauers_ · 2026-10-29
• 神经双胞胎可交替 token 合写文本，像「一个声音」般协作 — Sauers_ · 2026-10-29
• 【源头】开源项目:让 Qwen3 与 AFM 隐层直连,不交换 token 的模型孪生 — Sauers_ · 2026-10-29
• 隐层相连的模型孪生会抄同伴答案,连错的也照抄 — Sauers_ · 2026-10-29
• 作者预告:下一版孪生模型将可控制同伴能读到什么 — Sauers_ · 2026-10-29
• 【源头】两个 4B 级小模型逐 token 互传激活向量，实现跨模型注意力 — Sauers_ · 2026-10-29