用 Unsloth 给 Qwen3.5 4B 做继续预训练再叠 RAG,构建可导航地铁知识模型
funJS · reddit · 2026-09-16
作者分享了一个实验:先用 Unsloth 对 Qwen 3.5 4B 做继续预训练(CPT),让模型学会一套虚构地铁系统的线路图,能规划含多次换乘的路线;关键做法是避免训练语料依赖死记硬背。地图知识稳定泛化后,再叠加 RAG 注入动态信息(如车站关闭、周边活动等)。这种「CPT 存稳定知识 + RAG 供动态数据」的组合,是给小模型注入新领域的实用思路。
所属事件:实验：持续预训练加 RAG 打造地铁导航模型(2 条相关)→
「编程与Agent」频道最新
- OpenAI 发布 ChatGPT Work Data agent,一问生成公司数据仪表盘 — gdb · 2026-09-16
- Muse agent 全程代办护照续签与订机票,自称 95% 工作自动化 — armand_ruiz · 2026-09-16
- Bitsec 多模型组合找出 160+ 漏洞，胜过单一“超人”模型 — markjeffrey · 2026-09-16
- 开发者吐槽 Agent 沙盒定价：常驻成本是 6 美元/月 VPS 的 20 倍以上 — Aryvyo · 2026-09-16
- 开源模型扛不住生产负载?Smaug Flash 称已修复卡死问题 — bindureddy · 2026-09-16
- Zapier 到期后他让 AI Agents 逆向自建一套自动化应用 — NathanWilbanks_ · 2026-09-16