用 19 世纪语料训练语言模型
Remarkable-Trick-177 · reddit · 2026-07-11
作者分享了自己用 **19 世纪英语文本** 从零训练语言模型的项目进展。 ### 数据集与训练规模 - 历时一年，建立了一个以 **1800–1875 年英语** 为主的语料库 - 总量达到 **40B tokens / 160GB** - 覆盖英国和美国文本，重点偏向伦敦材料 ### 当前进展 - 先在 **5B token** 子集上训练了一个 **500M 参数** 的评估模型 - 又用从数据集中合成的问答对做了微调 - 现在可以围绕历史人物、地点、事件等进行问答，但作者明确说： - 目前更擅长伦敦相关内容 - 由于只是评估模型，准确性还不够高 ### 结果与计划 - 贴主给出了一些样例输出 - 调侃模型在生成“plum pudding”配方时表现得很离谱 - 下一步计划训练一个 **2B 参数模型** - 代码和模型已放出到 GitHub / Hugging Face 这是一个典型的语料构建 + 预训练 + 领域微调的研究型项目。