CPT+RAG 实战复盘:本地 4B 模型领域知识训练与评测全流程
funJS · reddit · 2026-09-25
- 作者用继续预训练(CPT)教本地模型(Qwen 3.5 4B,Unsloth 做 CPT 与 SFT LoRA)学习新领域,分四个阶段记录实验
- Phase 1:如何挑选能泛化到未见问题的训练集做 CPT
- Phase 2:对比 CPT 内化知识 vs RAG 注入内容在推理上的表现
- Phase 3:实用路线——把 CPT 训练的知识与 RAG 结合,而非视两者为竞争方案
- Phase 4:完整评测策略,含对 CPT 模型做 SFT 微调,让模型按严格 schema 输出以简化自动化评测检查
- 详细结果见作者博客文章
所属事件:实战复盘：CPT+RAG 教本地 4B 模型学新领域(3 条相关)→
「编程与Agent」频道最新
- 用第三方推理服务跑编码 agent 等于交出机器 shell 权限 — TheZachMueller · 2026-11-11
- 用 Opus 5.5 打造飞行战斗沙盒:程序化地形+粒子音效 — willeastcott · 2026-11-11
- Next.js 16.5 构建提速 3.3 倍,某头部 AI 实验室实测 — cramforce · 2026-11-11
- Plurai 推出 Agent 仿真测试:让 agent 在数字孪生世界里先失败再修复 — PrajwalTomar_ · 2026-11-11
- PlayCanvas 引擎仓库突破第 10000 个 issue/PR 里程碑 — willeastcott · 2026-11-11
- AI 做的游戏太难：Claude 6 分钟通关，作者砍 40% 难度 — builderjaydub · 2026-11-11