CacheGraft:离线把大模型 KV 缓存嫁接给小模型,RAG 只需 0.6B 模型
_reachsumit · x · 2026-11-06
CacheGraft 基于 Cache-to-Cache(C2C)融合框架,把 RAG 的文档增强搬到潜空间:离线阶段用大模型(4B)为每条语料段落生成融合 KV 缓存并嫁接到小模型(0.6B),查询时只需运行小模型注入缓存,无需大模型参与。
- 在五个 QA 基准、两个本地评审模型下,30 组对比中 29 组优于纯文本小模型基线,其中 17 组统计显著
- 融合器对检索数据零样本,从未在检索数据上训练
- 适合只能部署小模型的算力受限场景
「研究」频道最新
- 无需训练仅 355 个权重实现四位数乘法,比 SOTA 少 4 万倍 — willdepue · 2026-11-06
- Burkov 提议:用海量权重文件预训练 Transformer,让它学会编辑模型权重 — burkov · 2026-11-06
- AI 研究者：后训练数据管线仍高度人工，自动化远未到来 — menhguin · 2026-11-06
- Anthropic 报告：AI 全面自动化科研或带来 15-16 倍产出，物理实验成瓶颈 — teortaxesTex · 2026-11-06
- Elastic AI 副总裁：把搜索看作测试时计算，延迟是可花的预算 — gaganghotra_ · 2026-11-06
- 免训练投机解码框架加速全双工语音模型,显著降低响应延迟 — CUHKSZ · 2026-11-06