模型嫁接：把 Qwen3.5-4B 事后改造成因果 encoder-decoder，提速最高 3.7 倍
asankhs · reddit · 2026-09-22
Reddit 用户展示了「模型嫁接（Model Grafting）」：受 DeepSeek-V4.1-Flash 从头训练因果 encoder-decoder 架构的启发，对已有模型动手术——在某一层深度切开，让下层读 prompt，上层作为 encoder 的残差流，通过 identity 初始化的 adapter 以 prefix KV 形式注入，再用未修改的父模型做自蒸馏「愈合」，解码部分保持不变。方法详情见其博客。
作者用同一配方在 Qwen3.5-4B 上做出两个变体并发布在 HuggingFace：
- graft8：在 128K 长度 prompt 下处理提速约 3.7 倍，但有一定精度损失。
- graft16：精度非常接近父模型，prompt 处理提速约 2.0 倍。
这是社区对「不改预训练、事后改造架构换取长上下文效率」路线的一次可复现实践，两个变体均已开源。
所属事件:模型嫁接把 Qwen3.5-4B 改成因果架构提速3.7倍(2 条相关)→
「研究」频道最新
- DyCraft 用 LLM 从文本生成分钟级多镜头 3D Blender 动画 — songyoupeng · 2026-11-12
- 鼓循环变速法溯源：切片来自 DAW beat mode，分离法出自 2014 论文 — teropa · 2026-11-12
- 新理论揭示 RL 后训练的覆盖坍缩:REINFORCE 可将最优响应概率压至近零 — gaotianyu1350 · 2026-11-12
- DeepMind 发布 AI 基因学模型，拟加速癌症糖尿病研究 — Polymarket · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- AlphaGenome2 达 SOTA：从梯度预测中链接增强子与靶基因 — anshulkundaje · 2026-11-12