实验分享：持续预训练学稳定知识，RAG 注入动态信息
funJS · reddit · 2026-09-16
作者做了一个学习性质的小实验：把 RAG 与持续预训练（CPT）组合，让模型同时具备稳定的领域知识与动态信息更新能力。
- 用 Qwen 3.5 4B 在一个虚构地铁系统语料上做 CPT，让模型学会地图并规划多换乘路线；关键是语料设计避免纯记忆式学习，促使模型真正泛化
- 地图知识稳定后，再加 RAG 层注入动态信息（如站点关闭、附近演唱会等临时通告），补足 CPT 无法覆盖的变化数据
- 完整实验文章已发布在作者博客
所属事件:实验：持续预训练加 RAG 打造地铁导航模型(2 条相关)→
「研究」频道最新
- 前 OpenAI Jason Wei:湿实验室数据让专用模型击败 GPT-6 Astra — vwxyzjn · 2026-09-16
- 「AI 能用纸笔手算吗」引出硬核玩法:马尔可夫链+多项式投影做词性标注 — cephaloform · 2026-09-16
- Pichai 盘点谷歌 AI for Science:基因图谱、天气模型与 300 种语言 — sundarpichai · 2026-09-16
- Periodic Labs 用万亿参数模型分析超导实验数据,表现超 Astra 与 Fable — vwxyzjn · 2026-09-16
- Periodic Labs 发布 Neon:仅用 1300 张 H200 让开源模型在材料分析上超 GPT-6 Astra — vwxyzjn · 2026-09-16
- 50 余位专家重批物理基准:多数错误来自题目与评分,前沿模型接近饱和 — zainhas · 2026-09-16