全 arXiv 数据集上线 HuggingFace:314 万篇论文共 16TB
secemp9 · x · 2026-09-20
作者将整个 arXiv 站点打包为数据集发布到 HuggingFace:共 3,148,796 篇论文,包含每个版本,涵盖 LaTeX 源码、PDF、PostScript 和 HTML,总计 16TB。下载成本约 626 美元 AWS 出口流量费;他发现 arXiv 官方 S3 桶确有缺失,需用 GCS 和网页抓取补全。
所属事件:全量 arXiv 数据集上架 Hugging Face:314 万篇论文 16TB(9 条相关)→
「Infra」频道最新
- Grimes? 不,是 Bezos:呼吁建核动力海上算力平台 — beffjezos · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- NEURA 发布 Neuron AI,欧洲具身智能的真正考验在协同落地 — ingliguori · 2026-11-04
- S3 数据库并不慢：内存+NVMe 缓存摊薄成本，写延迟差距比想象小 — mgill25 · 2026-11-04
- 开源 gpu-unlock 项目让 GeForce AI 推理提速最高 2 倍 — paranoidray · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04