本地 4B 模型学新领域：CPT 与 RAG 四阶段实验对比与评估
funJS · reddit · 2026-09-25
- 作者用 Qwen 3.5 4B（Unsloth 做 CPT 和 SFT LoRA 训练）做了一系列实验，教本地模型学一个全新领域，分四阶段：
- Phase 1：通过 continued pretraining（CPT）灌输新领域知识，重点是如何挑选能泛化到未见问题的训练集。
- Phase 2：对比「内化知识（CPT）」vs「RAG 注入」在推理任务上的表现。
- Phase 3：实践取向——不做二选一，而是把 CPT 训出的知识与 RAG 结合。
- Phase 4：完整评估策略，包括对 CPT 后模型再做 SFT，让它按严格 schema 输出（而非英文句子），从而简化评估检查。
- 详细内容见作者博客（teachmecoolstuff.com），对想做本地领域微调的人有直接参考价值。
所属事件:CPT+RAG 实战：本地 4B 模型学新领域四阶段实验(5 条相关)→
「编程与Agent」频道最新
- Firecrawl 推出 Alexandria 接入 Claude:1.13 亿+数据源评测得分高 21% — devdigest · 2026-09-25
- 开发者用 GitHub Copilot 的 Jev 搭智能家居控制器:简单、快、便宜 — DanWahlin · 2026-09-25
- Hyperagent 发布 Rooms:多智能体与人类同群协作新形态 — aakashgupta · 2026-09-25
- Block 加入 x402 基金会，为 Agent 支付开源标准添 Bitcoin Lightning — kleffew94 · 2026-09-25
- 开源 SmolDataEnvs 发布：5000+ 可验证 RL 任务用于小型模型训练 — ben_burtenshaw · 2026-09-25
- 调高 Claude effort 档位换来更充分的思考与验证预算 — every · 2026-09-25