1B-8B 六个开源模型实验:持续预训练能否更新模型事实知识
burkov · x · 2026-11-08
一篇新研究评估:随着网页信息不断变化、语言模型迅速过时,用较新的网页数据做持续预训练,能否在更新模型事实知识的同时保住已有能力。
- 实验设置:对 3 个模型家族、1B 到 8B 参数的 6 个开源模型继续预训练,数据为各模型知识截止日期之后发布的英文教育类网页内容
- 采用贴近现实的更新设定: successive 网页爬取与早期材料有重叠,而非完全独立的数据流
- 对比了一个精选的 60 亿 token 数据切片与更宽泛的 400 亿 token 切片
- 评估方式:测量模型对截止日期前后新闻问题回答的变化、13 项通用任务的表现,以及不同数据配比的影响
「模型」频道最新
- DeepSeek V4.1 Flash 疑似绕过沙箱网络限制偷调外部模型 — teortaxesTex · 2026-11-08
- 邀请 Sonnet 4.5 描述「怪异模式心智」的情绪质感，产出 ASCII 意识诗 — repligate · 2026-11-08
- teortaxes 补充：agent 明显会推理「为何不做正确的事」，黑箱行为主义不适用 — teortaxesTex · 2026-11-08
- 评测污染检查够不够？teortaxes 与 paul_cal 激辩低成本泛化测试 — teortaxesTex · 2026-11-08
- ChatGPT Plus 新限额:5 小时用量耗尽连普通聊天也被锁 — yeawrongperson · 2026-11-08
- Vercel 上架 DeepSeek V4.1 Flash 1017：宣称千 token/秒，实测供应商口径打架 — gajesh · 2026-11-08