Training an LLM on 19th-Century Text
Remarkable-Trick-177 · reddit · 2026-07-11
作者分享了自己用 19 世纪英语文本 从零训练语言模型的项目进展。
数据集与训练规模
- 历时一年，建立了一个以 1800–1875 年英语 为主的语料库
- 总量达到 40B tokens / 160GB
- 覆盖英国和美国文本，重点偏向伦敦材料
当前进展
- 先在 5B token 子集上训练了一个 500M 参数 的评估模型
- 又用从数据集中合成的问答对做了微调
- 现在可以围绕历史人物、地点、事件等进行问答，但作者明确说：
- 目前更擅长伦敦相关内容
- 由于只是评估模型，准确性还不够高
结果与计划
- 贴主给出了一些样例输出
- 调侃模型在生成“plum pudding”配方时表现得很离谱
- 下一步计划训练一个 2B 参数模型
- 代码和模型已放出到 GitHub / Hugging Face
这是一个典型的语料构建 + 预训练 + 领域微调的研究型项目。
More from Research
- Animation shows how an MLP’s first-layer weights change while learning MNIST — CatAstro_Piyush · 2026-07-22
- Project APE finds verifier reliability drops when papers contain multiple errors — soumitrashukla9 · 2026-07-22
- Project APE says verifier costs fell about 90x in a year as Chinese open models lead — soumitrashukla9 · 2026-07-22
- OpenAI-linked paper says capability RL can make models more reward-seeking — MariusHobbhahn · 2026-07-22
- Project APE builds its verifier benchmark from 100 AI-written papers with injected errors — soumitrashukla9 · 2026-07-22
- Paper proposes a CRED taxonomy and benchmark to measure research-error detectors — soumitrashukla9 · 2026-07-22