用 Qwen3.5 4B 做继续预训练加 RAG,让模型学会虚构地铁系统
funJS · reddit · 2026-09-17
一位 Reddit 用户为学习目的做了一个实验:先对 Qwen 3.5 4B 做继续预训练(CPT),让模型掌握一个虚构地铁系统的线路图,能规划含多次换乘的出行路线;关键点在于训练语料设计要避免死记硬背,追求泛化。之后再加 RAG 步骤,注入动态数据(如站点关闭、车站附近演唱会等实时信息),与稳定的地铁路线知识互补。
实验展示了 CPT + RAG 的组合思路:CPT 负责稳定的领域知识,RAG 负责动态更新,两者分工明确。完整过程见其博客文章。
所属事件:网友用持续预训练加 RAG 教会 Qwen 虚构地铁导航(3 条相关)→
「编程与Agent」频道最新
- 一个过期日期让 WhatsApp 回复 agent 静默罢工两天,19 条消息无人应答 — petrusenko_max · 2026-11-02
- 10倍工程师就是一个 SKILLS.md:六大工作流规则全公开 — mdancho84 · 2026-11-02
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Sketchy v0.1.6:图表输出比纯文本省 29% token — Nkgsporty · 2026-11-02