测试时算力不必扎堆：推理冗余性改变数据中心选址逻辑
sarahookr · x · 2026-09-02
作者指出，与训练不同，测试时计算（TTC）不需要算力紧密同置。TTC 常依赖并行调用，单次失败不会中断整体运行，这种对冗余的容忍意味着开发者可以把负载分散到不同规模、不同位置的硬件上而不付出性能惩罚。
背景是其此前观点：预训练的 ROI 正在放缓，重心转向推理/推理阶段的测试时计算，而推理所需算力的形态与训练截然不同。
所属事件:Sarah Hooker：测试时计算与Agent正重构AI基础设施(9 条相关)→
「Infra」频道最新
- WSL 嵌套虚拟化要来了:用户提交 PoC 后团队已着手实现 — unixterminal · 2026-09-03
- Vercel Fluid 每天跑 1500 万次构建，函数、沙盒与构建共用一套算力系统 — soleio · 2026-09-03
- Baseten 携手 NVIDIA Dynamo 与 SGLang 办 RL 后训练基建之夜 — BanghuaZ · 2026-09-03
- 每月几美元在 Cloud Run 上自托管 Code OSS 编辑器 — rseroter · 2026-09-03
- Matthew Berman:数据中心算力瓶颈「可能被解决」 — Matthew Berman · 2026-09-03
- 某公司 token 用量两月暴涨 720 倍：从每月 10 亿到每小时 10 亿 — MartinGTobias · 2026-09-03