CPT+RAG 实战复盘:本地 4B 模型领域知识训练与评测全流程
funJS · reddit · 2026-09-25
- 作者用继续预训练(CPT)教本地模型(Qwen 3.5 4B,Unsloth 做 CPT 与 SFT LoRA)学习新领域,分四个阶段记录实验
- Phase 1:如何挑选能泛化到未见问题的训练集做 CPT
- Phase 2:对比 CPT 内化知识 vs RAG 注入内容在推理上的表现
- Phase 3:实用路线——把 CPT 训练的知识与 RAG 结合,而非视两者为竞争方案
- Phase 4:完整评测策略,含对 CPT 模型做 SFT 微调,让模型按严格 schema 输出以简化自动化评测检查
- 详细结果见作者博客文章
所属事件:CPT+RAG 实战：教本地 4B 模型学新领域全流程(2 条相关)→
「编程与Agent」频道最新
- 本地 4B 模型学新领域：CPT 与 RAG 四阶段实验对比与评估 — funJS · 2026-09-25
- MCP 服务器图标不显示？2025-11 版规范新增 icons 字段仍常被忽略 — StructureRude9956 · 2026-09-25
- 两人 AI 小组一个季度完成五人团队两季度才立项的三个项目 — alex_verem · 2026-09-25
- Capital One 等发布 CAFE(S) 框架：五指标诊断 AI 上下文质量 — scarey102 · 2026-09-25
- 「vibecoding 已死」引争议:语音指挥 AI 智能体生成 macOS 应用 — jasonkneen · 2026-09-25
- 文件系统是 AI Agent 新原语?三大坑与一个工作区方案 — pilver7 · 2026-09-25