测试时算力不必扎堆：推理冗余性改变数据中心选址逻辑
sarahookr · x · 2026-09-02
作者指出，与训练不同，测试时计算（TTC）不需要算力紧密同置。TTC 常依赖并行调用，单次失败不会中断整体运行，这种对冗余的容忍意味着开发者可以把负载分散到不同规模、不同位置的硬件上而不付出性能惩罚。
背景是其此前观点：预训练的 ROI 正在放缓，重心转向推理/推理阶段的测试时计算，而推理所需算力的形态与训练截然不同。
所属事件:Sarah Hooker：TTC 与 Agent 工作流正重构 AI 基础设施(9 条相关)→
「Infra」频道最新
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18
- DFB 激光器耦合薄膜铌酸锂芯片：最高 170mW、阈值仅 40-45mA — jwt0625 · 2026-10-18
- 5070 Ti 外挂 3070 混搭跑 Qwen 35B 达 82 tok/s — hereforcheesee · 2026-10-18
- 中国在建/规划功率半导体晶圆厂达 69 座,遍布 58 家厂商 — zephyr_z9 · 2026-10-18
- 研究测算：AI 数据中心每年需 3.5 万亿美元收入才能撑住 — TheseFact · 2026-10-18