开源网页抓取基准
rohitshenoy · hn · 2026-07-16
作者在做一个开源基准，用来解决网页抓取行业“benchmark 不可信”的问题。 他们指出，很多厂商会自己挑 URL、自己定义成功标准、还不公开测试框架，因此 98%–100% 的成绩并不能验证真实能力。团队希望构建一个覆盖主要反爬供应商和行业场景的困难测试集，并承诺每月维护；仓库已开源、可直接运行，也在征求社区对站点选择和通过条件的改进建议。
rohitshenoy · hn · 2026-07-16
作者在做一个开源基准，用来解决网页抓取行业“benchmark 不可信”的问题。 他们指出，很多厂商会自己挑 URL、自己定义成功标准、还不公开测试框架，因此 98%–100% 的成绩并不能验证真实能力。团队希望构建一个覆盖主要反爬供应商和行业场景的困难测试集，并承诺每月维护；仓库已开源、可直接运行，也在征求社区对站点选择和通过条件的改进建议。