整站 arXiv 搬上 HuggingFace:315 万篇论文,16TB 多格式数据集
secemp9 · x · 2026-09-20
开发者 secemp9 把整个 arXiv 站点打包成了 Hugging Face 上的公开数据集：共 3,148,796 篇论文，包含每个版本，提供 LaTeX 源文件、PDF、PostScript 和 HTML 多种格式，总体积约 16 TB。作者补充说明去重按版本计算，若计入版本总数超过 600 万。对需要大规模语料做训练、检索或文献分析的团队来说是一份难得的全量多格式资源。
所属事件:全量 arXiv 数据集上架 Hugging Face:314 万篇论文 16TB(9 条相关)→
「研究」频道最新
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04
- 腾讯 LoCo 用局部偏好学习教会模型何时停止思考，推理大幅变短且不掉准确率 — tencent · 2026-11-04