IAR 框架：无需检索实现文档知识内化的三阶段后训练
_reachsumit · x · 2026-08-21
论文提出了 IAR (Inject, Align, Recover) 框架，旨在将固定文档集合转换为模型参数知识，实现无需检索的问答。该方法包含三个阶段：
- Inject (注入)：将源文档转换为续写、重写和指令条件重构目标，注入模型权重。
- Align (对齐)：使用仅答案的 QA 监督微调注入后的模型，对齐问答行为。
- Recover (恢复)：将领域适应模型与基础指令模型合并，恢复通用能力。
在 Llama、Phi、Qwen 和 SmolLM 等模型家族上的实验表明，IAR 在领域问答准确率上平均提升 3.6 个百分点，在通用能力（IFEval, MMLU, MSBench）上平均提升 12.1 个百分点，优于 Vanilla SFT。
所属事件:BAAI发布IAR框架 让模型无需检索内化文档知识(2 条相关)→
「研究」频道最新
- EMNLP 2026 收录：CWoMP 濒危语言形态标注方法 — fredahshi · 2026-08-24
- SemiAnalysis 开源 300 万美元 AgentX 基准，百万上下文测 AI 编程 — AccBalanced · 2026-08-24
- Vinci2 助手在 EgoServe 基准超 GPT-5-mini，实现主动干预 — jiqizhixin · 2026-08-24
- OpenAI 招聘变革性 AI 经济学主管，MATS 奖学金开放申请 — Astral Codex Ten · 2026-08-24
- AI 科学家有了新标尺：从“考试”转向真实发现闭环 — 量子位 · 2026-08-24
- AI 协助证明埃尔德什猜想超越性 — inductionheads · 2026-08-24