CPT 教本地模型新领域知识：四阶段实验对比 RAG 混合方案
funJS · reddit · 2026-09-25
作者分享了一套用继续预训练（CPT）让本地小模型学习新领域知识的完整实验，分四个阶段：
- 阶段1：如何通过 CPT 教模型新领域知识，重点是如何挑选能泛化到未见问题的训练集
- 阶段2：对比「内化知识」（CPT）与 RAG 注入内容在推理表现上的差异
- 阶段3：更实用的做法——把 CPT 训练的知识与 RAG 结合，而非视作竞争方案
- 阶段4：完整的评测策略，包括对 CPT 模型做 SFT 微调，让它按严格 schema 输出而非英文句子，以简化自动化评测检查
实验基于 Qwen 3.5 4B，CPT 和 SFT LoRA 训练均使用 Unsloth 完成，详细结论发布在作者博客。
所属事件:实战复盘：CPT+RAG 教本地 4B 模型学新领域(3 条相关)→
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」：模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12