花 800 美元训练复古 LLM Bart，探索 1931 年前的语言模型
soggydoggy8 · reddit · 2026-08-25
Unbounded Labs 发布了 Bart，一个 2.82B 参数的“复古”LLM，完全基于 1931 年前的英语文本训练。项目旨在探索模型是否能得出与过去科学家相同的结论。
核心成果：
- 在 Vintage CORE 基准上超越 GPT-1900。
- 清理了哈佛学院图书馆数据集（242B->23B tokens）。
- 创建了首个复古 LLM 套件 Vintage CORE（含 20 个基准）。
- 开源了所有数据集、代码、评估及训练记录。
技术细节：
- 在单张 H100 上训练 5 天，保持 60% MFU。
- 运行 10 小时自主研究（100 个实验，发现 26 处改进）。
- 发布了 41.6 万个经分级问答对组成的 SFT 数据集。
团队目前寻求算力资助与导师指导。
所属事件:Unbounded Labs 开源复古 LLM Bart，仅用 1931 年前语料(2 条相关)→
「模型」频道最新
- Muse Code 1.4.8 大幅省 token，官方宣布全员用量即时清零重置 — alexandr_wang · 2026-10-16
- 曝阿里巴巴与百度将为中国区 Apple Intelligence 提供关键模型支持 — nordicinst · 2026-10-16
- 康奈尔与亚马逊研究：扩散语言模型预训练算力差距实为3-8倍而非16倍 — LucaAmb · 2026-10-16
- 图像决策榜 JevImageBench 升级 v0.3.0，Top 5 大洗牌 — airesearch12 · 2026-10-16
- Muse Spark Open 预估成最强非中国开源 LLM，agent 基准预测得分 36 — zsakib_ · 2026-10-16
- Claude Opus 5.5 实测:低推理档位每小时迭代次数是最高档 9 倍 — tom_doerr · 2026-10-16