两个 4B 级小模型逐 token 互传激活向量，实现跨模型注意力
Sauers_ · x · 2026-10-29
Arcee 展示了一个少见的实验：Quill（基于 Qwen3-4B）与 Ember（AFM-4.5B）两个小模型互相通信——每生成一个 token，双方互传 8 次激活向量，把一方的层输出直接注入另一方的残差流（residual stream），使各自能「关注」对方过去的 token。这种跨模型残差流直连的做法展示了多模型协作推理的一种新形态。
所属事件:跨家族模型隐层直连实验「神经双胞胎」开源(13 条相关)→
「模型」频道最新
- 在 Qwen3.5-4B 权重里实现完整 RISC-V CPU，算术准确率 48.6% 飙至 100% — Dan_Jeffries1 · 2026-10-29
- 曝 Anthropic 多款 Claude 新模型进入早期测试，含新 Opus — legit_api · 2026-10-29
- temperature=0 并不等于输出可复现：GPU 浮点与批处理会引入随机性 — cneuralnetwork · 2026-10-29
- Constellation 登顶 Terminal-Bench 4.0:比 DeepThink Max 高 19.1 分且成本低 54% — krzonkalla · 2026-10-29
- Narayanan 谈 Claude 文风退订：过度「聪明」的写作为何适得其反 — random_walker · 2026-10-29
- 代码库 PR 泄露:Qwen4 即将发布,至少 6 个变体含 qwen4.5-max — haider1 · 2026-10-29