整站 arXiv 搬上 Hugging Face:314 万篇论文 16TB 全格式
secemp9 · x · 2026-09-20
用户 secemp9 在 Hugging Face 发布 secemp9/arxiv-complete 数据集，把整个 arXiv 网站做成开放数据集：共 3,148,796 篇论文、覆盖每一个版本，总计约 16 TB。
- 格式全：包含 LaTeX 源码、PDF、PostScript、HTML 等多种格式
- 结构完整：拆分为 files（5460 万行）、latex、metadata（315 万行）、papertext、source、versions 等多个子集，已自动转换为 Parquet 可直接用 SQL/Dask/Polars 查询
- 许可：mixed-arxiv-author-licenses（混合许可，需注意各论文版权）
- 适用于文本生成、检索等任务，对训练与评测科研语料是重量级资源
所属事件:全量 arXiv 数据集上架 Hugging Face:314 万篇论文 16TB(9 条相关)→
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04