MIT SwaT 跨模型传 KV 缓存:纯文本模型零训练看懂图像
alex_verem · x · 2026-11-12
MIT CSAIL 与 MIT-IBM 实验室提出 SwaT(Swarm Telepathy),首个跨模型家族的 KV-cache 迁移方法:不通过文本摘要,而是把发送模型的内部状态直接翻译成另一家模型可用的形式,接收方无需重新 prefill,Qwen 可把「记忆」交给 Llama,Gemma 可交给 Granite,双方模型全部冻结不微调。
主要结果(12 个开源模型、6 个家族、17 个基准):
- 所有模型配对中,接收模型平均保持原成绩 90% 以上
- 配合 KV 缓存压缩,比传同体积文本摘要准确率高 40%,速度快约 4 倍
- 训练翻译器只需不到 1 GPU 天、不到 50M tokens
意外发现:翻译器仅用英文文本训练,纯文本 Llama 接收看过图像的 Gemma 的记忆后,在 5 个视觉问答测试平均得 39.6%,远超用文字描述的 13.3%,甚至超过 Gemma 自己答题的 34.2%;中文知识测试上也追平约四分之三差距。
两个限制:每对模型需单独训练翻译器;传递的记忆可能包含任何文本中都没有的信息,无法通过阅读来审计 agent 之间传了什么。
所属事件:MIT 发布 SwaT：跨模型家族迁移 KV 缓存(2 条相关)→
「编程与Agent」频道最新
- 工程师沙龙热议:AI 工作负载正转向后台持续运行 — reneeshah123 · 2026-11-12
- NYU 团队开源 Outerloop：AI 智能体自主做实验，77% 训练步数逼近目标 — mengyer · 2026-11-12
- 「从光标处继续」：From Here 原型让 GPT-6 Luna 续写任意位置 — csvoss · 2026-11-12
- micro1 五个月评估 token 量翻 12 倍，agent 启动从 3 分钟缩到 12 秒 — Exp_Mark · 2026-11-12
- MrKan 推出 Web Loop 卡片：看板自动盯网页变化并触发任务 — agf2007 · 2026-11-12
- LangChain 提出 Eval-Driven Development:先写评测再改 Agent — udmrzn · 2026-11-12