kernel.org 吐槽:14 核 CPU 专职伺候爬虫,开销超过正常访问
Simon Willison · rss · 2026-09-08
kernel.org(Linux 内核官方 Git 仓库)维护者 Konstantin Ryabitsev 披露了滥用爬虫造成的"背景辐射"有多严重:
- 渲染 commit 页面给爬虫看的 CPU 开销,已经超过包括 git clone 在内的所有正常合法访问
- 5 个地理分布节点上,任意时刻都有 14 个 CPU 核心专门在做 git commit 的 HTML 渲染,纯粹为爬虫服务
Simon Willison 表示这也让他担心 Datasette 这类暴露大量可爬网页的服务。这波由 AI 训练数据需求驱动的爬虫洪流,正在成为小型开源基础设施的真实负担。
「Infra」频道最新
- AMD 桌面 AI 工作站内存 2.6TB,达 NVIDIA DGX Station 三倍多 — shashib · 2026-09-08
- Minecraft 创始人吐槽:AI 服务该允许付费直接开高配 VM — DavidSHolz · 2026-09-08
- 7×24 小时跑 agent 集群,崩溃元凶不是 prompt 而是系统工程 — ParrotIntegrated · 2026-09-08
- 双 3060 还是单 3090:本地 LLM 推理服务器装机纠结$500 对决 $1000 — Bakkario · 2026-09-08
- 传华为 950DT 单卡约 1.6 万美元,DeepSeek 订单价格低于预期 — teortaxesTex · 2026-09-08
- 传 Intel 10 月 CPU 再涨价 10% 并将裁员 5%-10% — zephyr_z9 · 2026-09-08