如何稳定采集学术论文数据
Aromatic-Ad-6711 · reddit · 2026-07-19
作者在尝试为大学研究机构收集论文时，被 Google Scholar 因请求过多封 IP，于是来询问如何把这个采集系统做得更稳定、更合规。 他列出的方向包括： - 合理限流与缓存 - 指数退避、断点续跑 - 人工处理 CAPTCHA - 改用 OpenAlex、Crossref、ORCID、Semantic Scholar 等替代来源 核心问题是：怎样在不违反平台规则、又不触发更多封禁的前提下，搭一个可长期运行的学术文献收集 agent。