CPT 教本地模型新领域知识：四阶段实验对比 RAG 混合方案
funJS · reddit · 2026-09-25
作者分享了一套用继续预训练（CPT）让本地小模型学习新领域知识的完整实验，分四个阶段：
- 阶段1：如何通过 CPT 教模型新领域知识，重点是如何挑选能泛化到未见问题的训练集
- 阶段2：对比「内化知识」（CPT）与 RAG 注入内容在推理表现上的差异
- 阶段3：更实用的做法——把 CPT 训练的知识与 RAG 结合，而非视作竞争方案
- 阶段4：完整的评测策略，包括对 CPT 模型做 SFT 微调，让它按严格 schema 输出而非英文句子，以简化自动化评测检查
实验基于 Qwen 3.5 4B，CPT 和 SFT LoRA 训练均使用 Unsloth 完成，详细结论发布在作者博客。
所属事件:CPT+RAG 实战：本地 4B 模型学新领域四阶段实验(5 条相关)→
「编程与Agent」频道最新
- Cursor 探讨砍掉 Plan Mode,改用 Shift+Tab 调节模型努力等级 — steipete · 2026-09-25
- Opus 5.5 炒作成色几何?开发者质疑一键 demo 不代表真实工作流 — MrET97 · 2026-09-25
- 开发者晒每日 50-100 亿 token 消耗，24 个 Devin 并行写代码 — teropa · 2026-09-25
- Question's Gambit 模块登顶 BrowseComp-Plus，召回率 96.6% — CShorten30 · 2026-09-25
- 故意让AI第一次答错:工程师考核题专设“陷阱”考验证能力 — l4rz · 2026-09-25
- AutoScientists 入选 NeurIPS:自组织 AI 科研团队,BioML-Bench 百分位 74.4% — marinkazitnik · 2026-09-25