CPT 对比 RAG 实验测 Qwen 3.5 4B:知识内化与即时检索谁更准
funJS · reddit · 2026-09-12
作者用 Qwen 3.5 4B 做了一个小实验:对同一批领域知识,一边做继续预训练(CPT)让模型内化知识,一边在基座模型上搭 RAG,对比两者的准确率与性能差异,目的是量化「把知识烧进权重」与「推理时现查」的收益差别。详细数据与结论发布在个人博客文章中。
所属事件:实测 Qwen 3.5 4B:继续预训练内化知识对比 RAG(4 条相关)→
「研究」频道最新
- 当任务只能在真实世界验证：RL 的终局形态与 RLHF 轶事 — yacineMTB · 2026-10-28
- OpenAI 预印本称「指数时间假说是错的」,社区直呼「开始了」 — Reza_Zadeh · 2026-10-28
- 芝加哥大学 CS 携四篇全论文亮相 UIST 2026：磁性颗粒、触觉戒指与电触觉 — plopesresearch · 2026-10-28
- LG-Bench 获 NeurIPS 2026 接收：用图结构揭示 LLM 生命科学知识盲区 — geoffwolfe · 2026-10-28
- CoDA 框架在扩散 LLM 解码内执行安全策略,自适应注入成功率降至 0% — nandofioretto · 2026-10-28
- Mandelbrot 集拼图结构在 Lean 中完成形式化计算,实拍级图表曝光 — geoffreyirving · 2026-10-28