IAR 框架：无需检索实现文档知识内化的三阶段后训练
_reachsumit · x · 2026-08-21
论文提出了 IAR (Inject, Align, Recover) 框架，旨在将固定文档集合转换为模型参数知识，实现无需检索的问答。该方法包含三个阶段：
- Inject (注入)：将源文档转换为续写、重写和指令条件重构目标，注入模型权重。
- Align (对齐)：使用仅答案的 QA 监督微调注入后的模型，对齐问答行为。
- Recover (恢复)：将领域适应模型与基础指令模型合并，恢复通用能力。
在 Llama、Phi、Qwen 和 SmolLM 等模型家族上的实验表明，IAR 在领域问答准确率上平均提升 3.6 个百分点，在通用能力（IFEval, MMLU, MSBench）上平均提升 12.1 个百分点，优于 Vanilla SFT。
所属事件:BAAI发布IAR框架 让模型无需检索内化文档知识(2 条相关)→
「研究」频道最新
- 证明助手惊现 Collatz「证明」：LLM 找漏洞威胁数学正确性根基 — marc_lelarge · 2026-10-16
- Goodfire 研究员发长文:神经网络本就干净,可解释性前景比想象中好 — ctjlewis · 2026-10-16
- NEJM AI 研究:19 个 LLM 临床系统过度开检,提示词可压成本比至 1.4 倍 — dvir_a · 2026-10-16
- NEJM AI 研究：AI 开检查费是医生 3.2 倍，2/3 就诊医生零检查 — dvir_a · 2026-10-16
- 19 个模型评估：提示词可降低 LLM 过度检查成本，但代价是诊断一致性 — dvir_a · 2026-10-16
- 24 个 AI 系统开处方检查：平均 314 美元/次，是医生的 3.2 倍 — dvir_a · 2026-10-16