用 Unsloth 给 Qwen3.5 4B 做继续预训练再叠 RAG,构建可导航地铁知识模型
funJS · reddit · 2026-09-16
作者分享了一个实验:先用 Unsloth 对 Qwen 3.5 4B 做继续预训练(CPT),让模型学会一套虚构地铁系统的线路图,能规划含多次换乘的路线;关键做法是避免训练语料依赖死记硬背。地图知识稳定泛化后,再叠加 RAG 注入动态信息(如车站关闭、周边活动等)。这种「CPT 存稳定知识 + RAG 供动态数据」的组合,是给小模型注入新领域的实用思路。
所属事件:网友用持续预训练加 RAG 教会 Qwen 虚构地铁导航(3 条相关)→
「编程与Agent」频道最新
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Sketchy v0.1.6:图表输出比纯文本省 29% token — Nkgsporty · 2026-11-02
- Miles Cranmer 讲座:AI 用对是苏格拉底导师,用错是大脑萎缩 — _ScottCondron · 2026-11-02
- Scrapling 爬虫框架星标破 9.2 万,支持 MCP Server 接入 AI 工作流 — D4Vinci · 2026-11-02