用 Qwen3.5 4B 做继续预训练加 RAG,让模型学会虚构地铁系统
funJS · reddit · 2026-09-17
一位 Reddit 用户为学习目的做了一个实验:先对 Qwen 3.5 4B 做继续预训练(CPT),让模型掌握一个虚构地铁系统的线路图,能规划含多次换乘的出行路线;关键点在于训练语料设计要避免死记硬背,追求泛化。之后再加 RAG 步骤,注入动态数据(如站点关闭、车站附近演唱会等实时信息),与稳定的地铁路线知识互补。
实验展示了 CPT + RAG 的组合思路:CPT 负责稳定的领域知识,RAG 负责动态更新,两者分工明确。完整过程见其博客文章。
所属事件:网友用持续预训练加 RAG 教会 Qwen 虚构地铁导航(3 条相关)→
「编程与Agent」频道最新
- ML工程师通病：只看外部榜单，不懂产品该测什么 — yunta_tsai · 2026-09-17
- PostHog：agent 开的 PR 从 20% 涨到 70%，工程师去干什么 — rseroter · 2026-09-17
- 非开发者用 Claude 做出开源 AI 投研工作台 GreekSoup — Practical-Rise-1188 · 2026-09-17
- Google 一口气放出 Agent 全生命周期工具栈:构建、观测到治理 — blaizedsouza · 2026-09-17
- favicon 太小放不下吉祥物?tldraw 每次加载随机换一个 — max__drake · 2026-09-17
- 把判定标准写成 JSON 而非自然语言,LLM 分类任务更稳 — iamrobotbear · 2026-09-17