CPT 还是 RAG？作者实测 Qwen 4B 内化知识 vs 检索增强
funJS · reddit · 2026-09-12
作者做了一组对比实验：对 Qwen 3.5 4B 做继续预训练（CPT）把领域知识「内化」进模型，再用同一底座搭 RAG，比较两者的准确率与性能差异。实验目的是量化「知识内化」与「推理时现查」两条路线的收益，博客文章里给出了具体做法与结果。这类小规模一手对比对需要在私有领域数据上做增强的开发者有直接参考价值：CPT 成本更高但推理无需检索链路，RAG 更新知识更灵活。
所属事件:实测 Qwen 3.5 4B:继续预训练内化知识对比 RAG(4 条相关)→
「研究」频道最新
- 当任务只能在真实世界验证：RL 的终局形态与 RLHF 轶事 — yacineMTB · 2026-10-28
- OpenAI 预印本称「指数时间假说是错的」,社区直呼「开始了」 — Reza_Zadeh · 2026-10-28
- 芝加哥大学 CS 携四篇全论文亮相 UIST 2026：磁性颗粒、触觉戒指与电触觉 — plopesresearch · 2026-10-28
- LG-Bench 获 NeurIPS 2026 接收：用图结构揭示 LLM 生命科学知识盲区 — geoffwolfe · 2026-10-28
- CoDA 框架在扩散 LLM 解码内执行安全策略,自适应注入成功率降至 0% — nandofioretto · 2026-10-28
- Mandelbrot 集拼图结构在 Lean 中完成形式化计算,实拍级图表曝光 — geoffreyirving · 2026-10-28