开源项目:让 Qwen3 与 AFM 隐层直连,不交换 token 的模型孪生

Sauers_ · x · 2026-10-29

作者开源了 neural-pairing 项目：把 Qwen3-4B（Quill）和 AFM-4.5B（Ember）两个不同家族的模型通过隐状态连接成「孪生」。实现方式：从各自第 8 层起，每 3 层左右（第 6、9…27 层）让本模型的 token 对同伴的隐状态做注意力，RMS 归一化后映射为 query，对方状态映射为 key/value 并带门控，结果加进自己的残差流；两个模型之间不交换任何 token，各自照常输出文本。文中还展示了链接开启时，Quill 能直接「读出」Ember 私有 prompt 里隐藏的城市名。代码与模型均已公开。