整站 arXiv 搬上 Hugging Face:314 万篇论文 16TB 全格式
secemp9 · x · 2026-09-20
用户 secemp9 在 Hugging Face 发布 secemp9/arxiv-complete 数据集，把整个 arXiv 网站做成开放数据集：共 3,148,796 篇论文、覆盖每一个版本，总计约 16 TB。
- 格式全：包含 LaTeX 源码、PDF、PostScript、HTML 等多种格式
- 结构完整：拆分为 files（5460 万行）、latex、metadata（315 万行）、papertext、source、versions 等多个子集，已自动转换为 Parquet 可直接用 SQL/Dask/Polars 查询
- 许可：mixed-arxiv-author-licenses（混合许可，需注意各论文版权）
- 适用于文本生成、检索等任务，对训练与评测科研语料是重量级资源
所属事件:全站 arXiv 上架 Hugging Face：314 万篇论文 16TB(6 条相关)→
「Infra」频道最新
- GPU 编程学习日志:精读 CUDA matmul 优化经典与 MIT 稀疏性课程 — NandoDF · 2026-09-20
- Jev 式并行结构化推理让 350M 小模型快 63 倍，代码已开源 — helloiamleonie · 2026-09-20
- 开发者用 Jev 搭建 SLO 感知 LLM 推理路由,按质量延迟成本选模型 — ai · 2026-09-20
- 忆阻器网络研究:让材料本身成为模型,自学重组计算 — bravo_abad · 2026-09-20
- Crusoe 与 Perplexity 签多年云协议,供其专用 Nvidia GB300 集群 — Beth_Kindig · 2026-09-20
- SF Compute 对谈交易所传奇 Jaycobs:算力期货市场如何搭建 — andriy_mulyar · 2026-09-20