从零训练 100M 参数小模型:作者求证 SFT 之后还能否继续预训练
keixxxxxx · reddit · 2026-10-21
一位开发者正在完全从零训练约 100M 参数的语言模型(含 tokenizer 和预训练),向社区求证继续预训练(CPT)的实践经验:
- SFT 之后再做 CPT,是提升领域知识,还是会显著破坏指令遵循能力?
- 是否应该先对 base 模型继续预训练、再 SFT?
- 混入通用预训练数据能否缓解灾难性遗忘?
- 在这个参数量级,有哪些降低遗忘的实用技巧?
作者特别想要一手实验、训练曲线和评测结果,而非理论论证;并好奇针对大模型的经验是否适用于这种从零训练的小模型。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23