CPT+RAG 实战：本地 4B 模型学新领域四阶段实验
作者 @funJS 分享了一套用继续预训练（CPT）让本地小模型学习全新领域知识的完整实战复盘。实验基于 Qwen 3.5 4B 模型，使用 Unsloth 完成 CPT 与 SFT LoRA 训练，并配合 RAG 进行对比，全流程附评测结果。
已确认
- 模型与工具：Qwen 3.5 4B，Unsloth 做 CPT 和 SFT LoRA
- 实验分四个阶段推进：
- 阶段 1：通过 CPT 教模型新领域知识，重点研究如何挑选能泛化到未见过问题的训练集
- 阶段 2：对比「内化知识」（CPT）与 RAG 两种方案的效果
- 阶段 3 与阶段 4：探索 CPT 与 RAG 的混合方案，并完成整体评测（帖文摘要截断，细节以原帖为准）
为什么重要
- 该系列提供了从训练集构建、继续预训练到评测的端到端实操路径，对想在本地小模型上注入领域知识的开发者有直接参考价值
- CPT 与 RAG 的对比及混合方案实验，回应了「知识该内化进参数还是外挂检索」这一常见工程取舍问题
2026-09-25 ~ 2026-09-25 · 5 条相关
一手来源
- CPT+RAG 实战复盘:本地 4B 模型领域知识训练与评测全流程 — funJS ·
- 用 CPT+RAG 教本地小模型学新领域,四阶段实验附评测 — funJS · 2026-09-25
- 【源头】CPT+RAG 实战复盘:本地 4B 模型领域知识训练与评测全流程 — funJS · 2026-09-25