The Stack v3 发布 114TB 开源代码数据集,覆盖 770 种语言
anton_lozhkov · x · 2026-07-24
- The Stack v3 正式发布,号称是目前最大的开源代码数据集:原始规模 114 TB、覆盖 770 种语言、2.24 亿 仓库,去重后约 5 万亿 tokens。
- 其中训练子集包含 15.9 TB 代码、713 种语言、来自 1.73 亿 仓库;完整语料则是 113.7 TB、770 种语言、2.24 亿 仓库。
- 相比 v2,v3 覆盖了 GitHub 额外两年的变化,并把文件内容直接内嵌进数据集,下载后即可自包含训练。
- 发布方强调它会让代码模型预训练更开放、可复现、透明。
所属事件:Hugging Face 发布 The Stack v3:114TB 史上最大开源代码数据集(13 条相关)→
「研究」频道最新
- DeepMind 论文:LLM 无法自行随机采样,需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- Mathathon 2.0 启动:与陶哲轩 SAIR 合作,团队获 150 万美元算力 — _sathvikr · 2026-10-27
- 推友提出「甜课程」真实存在:两类 ML 问题应分而治之 — mike64_t · 2026-10-27
- PixGR:像素空间生成式解码加速前馈 3D 高斯重建 — kwangmoo_yi · 2026-10-27
- UniAction 统一动作条件框架:单一世界模型驱动多种动作类型 — ZeYanjie · 2026-10-27