CPT 还是 RAG？作者实测 Qwen 4B 内化知识 vs 检索增强
funJS · reddit · 2026-09-12
作者做了一组对比实验：对 Qwen 3.5 4B 做继续预训练（CPT）把领域知识「内化」进模型，再用同一底座搭 RAG，比较两者的准确率与性能差异。实验目的是量化「知识内化」与「推理时现查」两条路线的收益，博客文章里给出了具体做法与结果。这类小规模一手对比对需要在私有领域数据上做增强的开发者有直接参考价值：CPT 成本更高但推理无需检索链路，RAG 更新知识更灵活。
所属事件:继续预训练对比 RAG 实测：知识内化与检索谁更优(4 条相关)→
「研究」频道最新
- 陶哲轩博客刊 Burt Totaro 客座文章：警惕用 LLM 蛮力硬啃 Hodge 猜想 — natanielruizg · 2026-09-12
- 研究称从小鼠脑活动实时重建所见视频帧 — flngr · 2026-09-12
- LeVJEPA:无启发式视频预训练,算力省 5.6-20.8 倍还超 V-JEPA 2 — Cohere · 2026-09-12
- 继续预训练 vs RAG：Qwen 3.5 4B 知识内化实测对比 — funJS · 2026-09-12
- 研究员推测模型空间推理跃升源于 Blender 训练数据 — yoavartzi · 2026-09-12
- tszzl 质疑费米悖论论文：对数正态假设需更多论证 — tszzl · 2026-09-12