模型嫁接：把 Qwen3.5-4B 改造成因果编码器-解码器，长提示提速 3.7 倍
asankhs · reddit · 2026-09-22
Reddit 用户 asankhs 介绍了「模型嫁接」（Model Grafting）：借鉴 DeepSeek-V4.1-Flash 的因果编码器-解码器架构（原版从头训练），对现有预训练模型进行事后改造——在某深度处切开，让低层读取提示词，通过 identity-init 适配器把上层作为编码器残差流的前缀 KV，再用未修改父模型做自蒸馏「愈合」，解码部分保持不变。
作者将该配方应用于 Qwen3.5-4B，发布了两个变体（Hugging Face: LocalLLM/Qwen3.5-4B-graft8 与 graft16）：
- graft8：128K 长提示下处理速度约 3.7 倍，有一定精度损失
- graft16：约 2 倍提示处理加速，精度损失极小，更接近父模型
方法详解见作者博客文章。这为无需从头训练即可加速长上下文推理提供了开源路径。
所属事件:模型嫁接把 Qwen3.5-4B 改成因果架构提速3.7倍(2 条相关)→
「模型」频道最新
- 11 个 LLM 剑桥辩论社对决 1168 场：Claude Fable 5.2 压倒性夺冠 — AymericRoucher · 2026-11-12
- 用户实测 Claude App：widget 模块看不到用户编辑、移动端也不显示 — petergyang · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Ricursive 发布开源权重 Ripple-65B：TerminalBench 称霸美国开源榜 — StanfordAILab · 2026-11-12
- 被严重低估的资源：跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- Datalab 快速模式 OCR 准确率超 Opus 5.5，价格仅 1/4 到 1/68 — VikParuchuri · 2026-11-12