全 arXiv 数据集上线 HuggingFace:314 万篇论文共 16TB
secemp9 · x · 2026-09-20
作者将整个 arXiv 站点打包为数据集发布到 HuggingFace:共 3,148,796 篇论文,包含每个版本,涵盖 LaTeX 源码、PDF、PostScript 和 HTML,总计 16TB。下载成本约 626 美元 AWS 出口流量费;他发现 arXiv 官方 S3 桶确有缺失,需用 GCS 和网页抓取补全。
所属事件:整站 arXiv 上架 Hugging Face：314 万篇论文 16TB(7 条相关)→
「Infra」频道最新
- 端侧推理项目 Cactus Needle 登上 Hugging Face 热门榜 — Cactus-Compute · 2026-09-20
- 单张 RTX 5090 跑 Qwen3.8 Flash Next:靠 expert caching 达 50 t/s — dir3ctly · 2026-09-20
- 数据中心真的没交税？Tax Foundation 数据给出各地税率对比 — AndyMasley · 2026-09-20
- AMD 为 Kimi-K3 做重磅软件优化，国产模型硬件适配提速 — AccBalanced · 2026-09-20
- 内存价格半年从350涨到640美元，个人换机越来越难 — chrisalbon · 2026-09-20
- NVIDIA 工程师详解 DeepSeek V4.1 Flash 为速度重构架构 — thursdai_pod · 2026-09-20