花 800 美元训练复古 LLM Bart，探索 1931 年前的语言模型
soggydoggy8 · reddit · 2026-08-25
Unbounded Labs 发布了 Bart，一个 2.82B 参数的“复古”LLM，完全基于 1931 年前的英语文本训练。项目旨在探索模型是否能得出与过去科学家相同的结论。
核心成果：
- 在 Vintage CORE 基准上超越 GPT-1900。
- 清理了哈佛学院图书馆数据集（242B->23B tokens）。
- 创建了首个复古 LLM 套件 Vintage CORE（含 20 个基准）。
- 开源了所有数据集、代码、评估及训练记录。
技术细节：
- 在单张 H100 上训练 5 天，保持 60% MFU。
- 运行 10 小时自主研究（100 个实验，发现 26 处改进）。
- 发布了 41.6 万个经分级问答对组成的 SFT 数据集。
团队目前寻求算力资助与导师指导。
所属事件:Unbounded Labs 开源复古 LLM Bart，仅用 1931 年前语料(2 条相关)→
「模型」频道最新
- 中 LLM 仍落后美 4-5 月，ECI 155 或为可用门槛 — Jsevillamol · 2026-08-25
- 冷门桌游被视为最佳 AGI 评测：Fable 表现远逊 Opus 5 — paul_cal · 2026-08-25
- 实测对比：给 Codex/Gemini/Claude 同一提示词，结果天差地别 — thisiskp_ · 2026-08-25
- Nemotron 3.5 Lightning 登顶开源权模型榜单前四 — NVIDIAAI · 2026-08-25
- Agent Arena 榜单发布：Claude 与 Kimi 占据帕累托前沿 — arena · 2026-08-25
- AI 生成图在技术插图中的“文字式”瑕疵 — moultano · 2026-08-25