用 CPT+RAG 教本地小模型学新领域,四阶段实验附评测
funJS · reddit · 2026-09-25
作者分享了用继续预训练(CPT)让本地 LLM(Qwen 3.5 4B,Unsloth 做 CPT 与 SFT LoRA)学习新领域的系列实验，分四个阶段：
- 阶段1:通过 CPT 教模型新领域知识,重点是如何挑选能泛化到未见过问题的训练集。
- 阶段2:对比两种知识注入方式——内化知识(CPT)与 RAG 注入内容——在推理任务上的表现。
- 阶段3:更实用的做法是把 CPT 训练的知识与 RAG 结合,而非将两者视为竞争方案。
- 阶段4:完整的评测策略,包括对 CPT 后模型再做 SFT,让它按严格 schema 输出而非英文句子,以简化自动化评测校验。
详细总结见作者博客文章。
所属事件:CPT+RAG 实战：本地 4B 模型学新领域四阶段实验(5 条相关)→
「研究」频道最新
- Question's Gambit 模块登顶 BrowseComp-Plus，召回率 96.6% — CShorten30 · 2026-09-25
- ICLR 作者小技巧：用 \textbf 替代 \paragraph 省页面 — jindong_wang92 · 2026-09-25
- AutoScientists 入选 NeurIPS:自组织 AI 科研团队,BioML-Bench 百分位 74.4% — marinkazitnik · 2026-09-25
- 多语言诅咒在理论上是否必然？嵌入空间结构新研究 — mdredze · 2026-09-25
- 从 VPG 到 GRPO：LLM 强化学习算法演进脉络一文讲清 — cwolferesearch · 2026-09-25
- MechReason 基准:1.2 万问答暴露多模态模型工程推理短板 — AndrewDai · 2026-09-25