OpenBMB 发布 Ultra-FineWeb-L1:1T+ 令牌英文预训练语料
AdinaYakup · x · 2026-08-21
OpenBMB 发布了 Ultra-FineWeb-L1，这是一个用于 LLM 预训练的超大规模高质量英文网络语料库。
- 规模：包含超过 1T (万亿) tokens，约 11.4 亿个文档。
- 数据源：基于 Common Crawl (CC-MAIN-2025-51)。
- 许可：采用 Apache 2.0 开源协议。
- 处理：使用 Trafilatura 2.0 进行高级清洗，并结合定制的质量检测机制以确保数据质量。
所属事件:OpenBMB 开源 1T+ token 高质量网页数据集(3 条相关)→
「研究」频道最新
- NEJM AI 研究：AI 开检查费是医生 3.2 倍，2/3 就诊医生零检查 — dvir_a · 2026-10-16
- 19 个模型评估：提示词可降低 LLM 过度检查成本，但代价是诊断一致性 — dvir_a · 2026-10-16
- LLM 医疗评测新维度：NEJM AI 发表「推荐照护成本」对比研究 — dvir_a · 2026-10-16
- SubQ 开源 Decision LCR:72K-115K 长文决策基准,自研模型领先 — ryanallred · 2026-10-16
- 「特征不是神经网络基本单位」：可解释性范式之争再升温 — MoonL88537 · 2026-10-16
- FOMO-Dex 力控遥操作：机器人学会拿薄卡片、拧螺丝 — HaozhiQ · 2026-10-16