开发者 11 个月从零训练二战专题小模型 Peacebell 并开源
wayneworkman · reddit · 2026-10-03
- Reddit 用户 wayneworkman 用 11 个月业余时间从零训练了专注二战领域的小语言模型 Peacebell,开源了权重和训练材料,提供 291M 与 148M 两个版本,后者用于参加 Hugging Face 150M 以下模型的榜单。
- 训练数据全部自制:基于 Wikipedia 二战文章生成合成数据,大部分时间花在数据清洗与配比上;另自建私藏题目的 WWII 基准测试以防数据污染,并提供定制 vLLM fork 与免费在线 demo。
- 作者坦言阅读大量二战暴行史料的过程令其情绪备受冲击,多次崩溃落泪;下一版本预计 2027 年发布。
「研究」频道最新
- CogGym 框架发现：越新越大的模型行为越像人类，但更像彼此 — teortaxesTex · 2026-10-03
- PhantomEnvironments 开源：7B 模型经合成 RL 环境训练战平 10 倍体量 agent — CShorten30 · 2026-10-03
- 哈佛 Sinclair 实验室公布抗衰老分子 SL-100 小鼠早期数据 — _AustinCalvert_ · 2026-10-03
- MIT交互式图解:从Attention到Mixtral、DeepSeek-V3架构 — vtabbott_ · 2026-10-03
- 从抽象表示直接推导 KV-cache 位置，prefill 与推理形式可互通 — vtabbott_ · 2026-10-03
- 研究显示亮度主导 3D 高斯泼溅的几何生成 — kwangmoo_yi · 2026-10-03