CPT 对比 RAG 实验测 Qwen 3.5 4B:知识内化与即时检索谁更准
funJS · reddit · 2026-09-12
作者用 Qwen 3.5 4B 做了一个小实验:对同一批领域知识,一边做继续预训练(CPT)让模型内化知识,一边在基座模型上搭 RAG,对比两者的准确率与性能差异,目的是量化「把知识烧进权重」与「推理时现查」的收益差别。详细数据与结论发布在个人博客文章中。
「研究」频道最新
- 研究员推测模型空间推理跃升源于 Blender 训练数据 — yoavartzi · 2026-09-12
- tszzl 质疑费米悖论论文：对数正态假设需更多论证 — tszzl · 2026-09-12
- OpenAI 推出 GPT-Rosalind：面向生物研究的推理模型上线 API 与 Codex — OpenAIDevs · 2026-09-12
- MIT 量子实验室用 GPT-5.6 Sol 加 Codex 自动化芯片测量 — OpenAI · 2026-09-12
- Conjectures 用 Lean 验证做数学发现的激励机制,还适合编译器与密码学 — const_reborn · 2026-09-12
- AI 研究智能体攻克 Komlós 猜想，给出 Beck-Fiala 平方根界 — basedjensen · 2026-09-12