斯坦福联合 Laude 推出 Atlantic-CC:对 Common Crawl 做 17T token 模型化清洗

Diyi_Yang · x · 2026-10-21

Laude Institute 与斯坦福团队(Percy Liang、Diyi Yang、Tatsunori Hashimoto 等)发布 Atlantic-CC 项目:用基于模型的方法对 Common Crawl 进行大规模处理,产出约 17T token 的高质量数据,用于训练更大更好的开源大语言模型。这是开源社区应对高质量数据枯竭、提升开放语料质量的重要基础设施动作,数据将服务于开源 LLM 训练。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →