本地 4B 模型学新领域：CPT 与 RAG 四阶段实验对比与评估
funJS · reddit · 2026-09-25
- 作者用 Qwen 3.5 4B（Unsloth 做 CPT 和 SFT LoRA 训练）做了一系列实验，教本地模型学一个全新领域，分四阶段：
- Phase 1：通过 continued pretraining（CPT）灌输新领域知识，重点是如何挑选能泛化到未见问题的训练集。
- Phase 2：对比「内化知识（CPT）」vs「RAG 注入」在推理任务上的表现。
- Phase 3：实践取向——不做二选一，而是把 CPT 训出的知识与 RAG 结合。
- Phase 4：完整评估策略，包括对 CPT 后模型再做 SFT，让它按严格 schema 输出（而非英文句子），从而简化评估检查。
- 详细内容见作者博客（teachmecoolstuff.com），对想做本地领域微调的人有直接参考价值。
所属事件:实战复盘：CPT+RAG 教本地 4B 模型学新领域(3 条相关)→
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」：模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12