Unbounded Labs 发布 1931 年前语料训练的复古 LLM Bart

soggydoggy8 · reddit · 2026-08-25

Unbounded Labs 宣布开源 Bart，一个 2.82B 参数的“复古”LLM，完全基于 1931 年前的英语文本（201B tokens）训练，成本约 800 美元。

项目亮点：

• 在 Vintage CORE 基准上超越 GPT-1900。
• 清理了哈佛学院图书馆书籍数据集（242B -> 23B tokens）。
• 创建了首个复古 LLM 基准套件 Vintage CORE（20 个基准）。
• 在单张 H100 上运行了 10 小时自主研究，执行 100 次实验并发现 26 项改进。
• 发布了最大的复古 SFT 数据集（41.6 万个问答对）。
• 5 天内在 H100 上完成训练，保持 60% MFU。

所有数据集、方法、代码、评估和训练记录均已开源。团队正在寻求算力资助、资金和导师支持，以推进更大的训练运行。

所属事件:Unbounded Labs 开源复古 LLM Bart，仅用 1931 年前语料(2 条相关)→

原文链接 →

「模型」频道最新

• 新推理引擎『e』单台 DGX Station 跑出 10500 tok/s 聚合吞吐 — brandon_galang · 2026-10-16
• 英伟达 Nemotron 3.5 Super VL 上线 CoreWeave：12B 激活参数多模态 MoE，输入仅 $0.25/百万 tokens — wandb · 2026-10-16
• 爆料人称 Opus 5 或采用深度循环架构，方向仍存变数 — scaling01 · 2026-10-16
• GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
• Nvidia 联手 Nolla 后训练 Nemotron 3.5 VL，皮肤科诊断称超越前沿 — LoganGrasby · 2026-10-16
• Gemini 4 Argon 登顶 ARC-AGI-3 达 97.5%，第二家破 95% — patience_cave · 2026-10-16

更多「模型」频道 AI 资讯 →