CPT 教本地模型新领域知识：四阶段实验对比 RAG 混合方案
funJS · reddit · 2026-09-25
作者分享了一套用继续预训练（CPT）让本地小模型学习新领域知识的完整实验，分四个阶段：
- 阶段1：如何通过 CPT 教模型新领域知识，重点是如何挑选能泛化到未见问题的训练集
- 阶段2：对比「内化知识」（CPT）与 RAG 注入内容在推理表现上的差异
- 阶段3：更实用的做法——把 CPT 训练的知识与 RAG 结合，而非视作竞争方案
- 阶段4：完整的评测策略，包括对 CPT 模型做 SFT 微调，让它按严格 schema 输出而非英文句子，以简化自动化评测检查
实验基于 Qwen 3.5 4B，CPT 和 SFT LoRA 训练均使用 Unsloth 完成，详细结论发布在作者博客。
所属事件:CPT+RAG 实战：本地 4B 模型学新领域四阶段实验(5 条相关)→
「编程与Agent」频道最新
- LangSmith 推出 Trajectories 视图，长程 Agent 运行分析更直观 — LangChain · 2026-09-25
- 「破窗理论」在 vibe coding 代码库里百试百灵 — generativist · 2026-09-25
- 非工程师分享多模型 Agent 分工编排：隔离容器做范围漂移监督 — alexcovo_eth · 2026-09-25
- Primus Society 打造全自主 AI 研究员社会，宣称提升训练效率 30% — JayAlammar · 2026-09-25
- Gauntlet AI 开放申请:全免费 10 周 AI 工程训练营,落地奥斯汀 — petrusenko_max · 2026-09-25
- GitHub 开源 AI 自动化模糊测试管线:agent 自写 harness 并分诊漏洞 — GitHub Blog AI/ML · 2026-09-25