ResMem:把检索知识蒸馏进参数记忆，推理时不再需要 RAG
_reachsumit · x · 2026-11-04
McGill 等机构论文提出 ResMem，将检索到的证据离线蒸馏为参数化记忆，使冻结 LLM 在推理时无需在线检索。
- 用 LLM 离线「读取」检索文本生成教师目标，训练一个加性 logit 残差记忆模块，自蒸馏更新仅限该模块
- 相比 MLP Memory 等 kNN 方案，无需存储海量 token 表示；Wikipedia 子集上教师构建存储开销减少 94.7%
- 五个问答数据集上，冻结 LLM 的平均 token F1 从 32.83% 提升到 34.48%
「研究」频道最新
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- Google 扫描 1033 件真实家居品,打包成 345MB GLB 免费开放 — victormustar · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 实测推翻常见建议：INT8 几乎无害，采样器才是关键 — YakovSava · 2026-11-04
- Karpathy 带火 HN 开源数据集：千万级帖子可当知识库直接用 — huangyun_122 · 2026-11-04
- PixelCraft 多智能体框架登场：专治多模态模型读图表翻车 — burkov · 2026-11-04