Vercel CDN 每秒 8000 万次路由决策，P99 延迟砍掉 91%
cramforce · x · 2026-09-11
Vercel 发布工程博客，详述如何将 CDN 元数据查找的 P99 延迟降低 91%。其 CDN 每秒执行超 8000 万条路由指令，需查找元数据以确定路径如何服务。
优化思路：过去按路径逐个取元数据并缓存，但大部署可达数十万路径，每次新部署都带来缓存未命中。团队改为按组批量抓取元数据，一次填充多个后续查找的缓存；抓太多又有自身成本，最终通过生产环境实验找到平衡点，同时加快了部署速度。文章还提到用排序 JSONL 上的二分查找实现加速，并顺带用了 bloom filter。
所属事件:Vercel 披露日均千万次部署，CDN P99 延迟降 91%(2 条相关)→
「Infra」频道最新
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- 9B 本地模型干机械活,规划交给大模型:一套省 token 的编程 agent 分工法 — Electrical_Ninja3805 · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27