继续预训练对比 RAG 实测：知识内化与检索谁更优

有开发者使用 Unsloth 对 Qwen 3.5 4B 做了一组对照实验：对同一批领域知识，一边通过继续预训练（CPT）将知识「内化」进模型，一边在基座模型上外挂 RAG 即时检索，比较两者在准确率与推理性能上的差异。实验旨在量化「把知识塞进模型」与「用的时候再查」哪种路线更划算，被社区评价为趣味且严谨的实证尝试。

2026-09-12 ~ 2026-09-12 · 4 条相关

• CPT 对比 RAG 实验测 Qwen 3.5 4B:知识内化与即时检索谁更准 — funJS · 2026-09-12
• Unsloth 继续预训练 vs RAG 实测：知识内化与即时检索谁更划算 — funJS · 2026-09-12
• 继续预训练 vs RAG：Qwen 3.5 4B 知识内化实测对比 — funJS · 2026-09-12

另有 1 条近重复转述:funJS