继续预训练 vs RAG：Qwen 3.5 4B 知识内化实测对比
funJS · reddit · 2026-09-12
作者做了一组趣味但严谨的实验：对 Qwen 3.5 4B 做继续预训练（CPT）把领域知识「内化」进模型，再与基于同一底座模型的 RAG 实现对比准确率与推理性能。
核心问题：把知识烧进权重 vs 推理时外挂检索，两种路线在效果和成本上各占多少优势？结论与详细数据见原文链接，对需要在垂直领域落地的开发者有直接参考价值。
所属事件:实测 Qwen 3.5 4B:继续预训练内化知识对比 RAG(4 条相关)→
「模型」频道最新
- GPT-6.1 Terra 控制真机器人胜过 Opus 5.5,较三月前提升 3.7 倍 — ycombinator · 2026-10-28
- Kimi 发布 K3.1 Pro：3T 级开源权重模型，100 万上下文幻觉降 65% — NVIDIAAI · 2026-10-28
- OpenSIR 自博弈框架：LLM 无需训练数据自学数学推理 — PMinervini · 2026-10-28
- Claude Opus 5.5 从二进制重建 SQLite 等程序,ProgramBench 得分 18.5% — winer666 · 2026-10-28
- Codex 后台任务一夜烧光 500 美元周额度外加 75000 credits — sethlazar · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28