网友用持续预训练加 RAG 教会 Qwen 虚构地铁导航

一位 Reddit 用户分享学习性实验：用 Unsloth 对 Qwen3.5 4B 做继续预训练(CPT)，让模型掌握一套虚构地铁系统线路图，可规划含多次换乘的出行路线；再叠加 RAG 注入动态信息。关键做法是避免训练语料依赖捷径，使 CPT 提供稳定领域知识、RAG 负责动态更新，两者互补构建可导航的领域知识模型。

2026-09-16 ~ 2026-09-17 · 3 条相关

• 实验分享：持续预训练学稳定知识，RAG 注入动态信息 — funJS · 2026-09-16
• 用 Unsloth 给 Qwen3.5 4B 做继续预训练再叠 RAG,构建可导航地铁知识模型 — funJS · 2026-09-16

另有 1 条近重复转述:funJS