Unsloth 继续预训练 vs RAG 实测：知识内化与即时检索谁更划算
funJS · reddit · 2026-09-12
作者做了一组对照实验：用 Unsloth 对 Qwen 3.5 4B 做继续预训练（CPT）将知识内化进模型，与在基座模型上外挂 RAG 检索作对比，比较两者在准确率与推理性能上的差异。核心问题是衡量「把知识烧进权重」与「推理时实时检索」各自的性能收益。详细数据与分析发布在其博客文章中。
所属事件:继续预训练对比 RAG 实测：知识内化与检索谁更优(3 条相关)→
「研究」频道最新
- 研究员推测模型空间推理跃升源于 Blender 训练数据 — yoavartzi · 2026-09-12
- tszzl 质疑费米悖论论文：对数正态假设需更多论证 — tszzl · 2026-09-12
- OpenAI 推出 GPT-Rosalind：面向生物研究的推理模型上线 API 与 Codex — OpenAIDevs · 2026-09-12
- MIT 量子实验室用 GPT-5.6 Sol 加 Codex 自动化芯片测量 — OpenAI · 2026-09-12
- Conjectures 用 Lean 验证做数学发现的激励机制,还适合编译器与密码学 — const_reborn · 2026-09-12
- AI 研究智能体攻克 Komlós 猜想，给出 Beck-Fiala 平方根界 — basedjensen · 2026-09-12