EMNLP 论文:按主机采样式爬取可多收数倍高质量预训练页面
metehan777 · x · 2026-10-12
Malte Ostendorff 的论文《Host-Aware Web Crawling for LLM Pretraining Data》(EMNLP 2026 WaC-13)研究爬虫如何在主机间与主机内分配抓取预算,以收集更多高质量预训练数据。要点:
- 结合文档级质量分类器分数、Web 图中心度与 Common Crawl 的主机级覆盖数据,发现约一半的分类器分数差异出现在主机之间;一个主机上抓少量页面即可有效估计其余页面的质量。
- Common Crawl 用 harmonic centrality 决定抓取分配,但模拟显示其对主机选择相比随机排序收益有限,对某些分类器甚至更差。
- 决定每个主机抓取深度时,「先采样几页、再向高分主机追加抓取」的策略,每次抓取获得的高质量页面数是均匀深度或中心度分配的数倍。
- Common Crawl 的实际主机覆盖率与质量信号几乎不相关;估算每个 crawl 中仍有数千万高质量页面留在已知未抓取的 URL 里,且集中在少数主机上。
「Infra」频道最新
- Open WebUI 星数超 15 万：自托管 AI 界面的事实标准 — open-webui · 2026-10-12
- 微软 BitNet 1-bit LLM 推理框架开源，星数破 4 万 — microsoft · 2026-10-12
- StarCloud 拟将 AI 硬件送上轨道，太空数据中心破解电力冷却瓶颈 — DavidLinthicum · 2026-10-12
- AI 基础设施工程师必做项目：vLLM 调优到 KV-Cache 路由 — snowclipsed · 2026-10-12
- AI 数据中心建设潮催生周边生意：工地午餐一天 1500 份 — asusarla · 2026-10-12
- 芯片短缺拖累,Yandex 数据中心至少 2028 年前无法修复 — zacharynado · 2026-10-12