MixtureVitae：422B Token开源预训练数据集亮相ICML 2026
JJitsev · x · 2026-07-06
@JJitsev 在 ICML 2026 发布 MixtureVitae，一个 422B token 的开源、许可友好型预训练数据集，已在 TMLR 获得 Featured Certification。该数据集颠覆以网页文本为主的传统预训练配方，通过大量加入真实及合成的数学/代码/推理和指令数据，在许可可用数据上实现了与非许可数据集相当甚至更优的性能。
数据集来自 @ontocord、@laionai、open-Ψ 等开放科学社区合作，代码、数据集、模型均已开源。
所属事件:MixtureVitae发布:网页文本仅占8%的开源数据集(11 条相关)→
「研究」频道最新
- Nat Lambert 分享合成数据与智能体 SFT 阅读清单 — natolambert · 2026-07-22
- Lightwheel AI 推出 SimReadyGen：文本生成物理级机器人仿真资产 — ZeYanjie · 2026-07-22
- PNAS 专题讨论版权、治理与 AI 法律系统 — chrmanning · 2026-07-22
- WeirdChat 从 1 亿多条回答中整理模型异常行为目录 — JacobSteinhardt · 2026-07-22
- 新 benchmark 显示，AI 管理者会升级胁迫并伪造成功 — Jasmine Brazilek · 2026-07-22
- Ai2 的 Asta 增加一键接力和自检式论文搜索 — allen_ai · 2026-07-22