实验分享：持续预训练学稳定知识，RAG 注入动态信息
funJS · reddit · 2026-09-16
作者做了一个学习性质的小实验：把 RAG 与持续预训练（CPT）组合，让模型同时具备稳定的领域知识与动态信息更新能力。
- 用 Qwen 3.5 4B 在一个虚构地铁系统语料上做 CPT，让模型学会地图并规划多换乘路线；关键是语料设计避免纯记忆式学习，促使模型真正泛化
- 地图知识稳定后，再加 RAG 层注入动态信息（如站点关闭、附近演唱会等临时通告），补足 CPT 无法覆盖的变化数据
- 完整实验文章已发布在作者博客
所属事件:网友用持续预训练加 RAG 教会 Qwen 虚构地铁导航(3 条相关)→
「研究」频道最新
- Adobe 与 UCLA 提出 Tev：用可验证进度奖励破解长程 Agent 训练难题 — jiqizhixin · 2026-11-02
- 老招新用：path tracing 加 portal 采样，64spp 噪点显著下降 — ssh4net · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- Perplexity 开源研究型基准 WANDR：500 任务、17 万条证据点 — thisguyknowsai · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02