实验：持续预训练加 RAG 打造地铁导航模型

有开发者分享了将 RAG 与持续预训练（CPT）结合的学习实验：先用 Unsloth 对 Qwen 3.5 4B 做继续预训练，让模型学会一套虚构地铁系统的线路图，能够规划包含多次换乘的路线。实验的关键做法是避免训练语料依赖，使模型同时具备稳定的领域知识与动态信息更新能力。

2026-09-16 ~ 2026-09-16 · 2 条相关

• 实验分享：持续预训练学稳定知识，RAG 注入动态信息 — funJS · 2026-09-16
• 用 Unsloth 给 Qwen3.5 4B 做继续预训练再叠 RAG,构建可导航地铁知识模型 — funJS · 2026-09-16