Sarah Hooker：测试时计算与Agent正重构AI基础设施

Cohere 的 Sarah Hooker（曾任职 Google Brain，帖子中头衔表述不一，含研究员/研究总监/研究副总裁/总裁等）于 9 月 2–3 日发布系列长帖，核心论点是：AI 基础设施正面临十年未见的结构性重构，驱动力是测试时计算（Test-Time Compute, TTC）与智能体工作流两大力量，预训练的投入回报正在放缓，行业重心从训练阶段转向推理阶段。

已确认

• 过去十年 AI 基础设施的核心执念是尽可能把算力集中部署在同一位置：大模型预训练成本极高，GPU 间数据传输是最不可靠的瓶颈，因此行业围绕聚集算力、最大化吞吐来组织硬件。
• 她认为 TTC 与训练不同，不要求算力紧密同置：TTC 常依赖并行调用，单次失败不会中断整体运行，对冗余的容忍意味着可以把负载分散到不同规模、不同位置的硬件上而不付出性能惩罚，这将改变数据中心选址逻辑。
• Agent 以多步循环运行——执行动作、检查结果、修正路线，像需要把饼干反复取出检查再放回烤箱的食谱，与传统单次推理「把面团送进烤箱」完全不同。多步循环需要不断卸载中间状态，瓶颈不再只是 FLOPs 速度，而是冯·诺依曼瓶颈（数据来回搬运的速度），是硬件架构史上最难的问题之一。
• 历史上训练与推理负载基本是输入数据上连续矩阵乘法，高度可预测；Agent 使负载形态发生根本变化。

为什么重要

• 该论述指向 GPU 设计与数据中心建设的前提性转变：若成立，未来硬件投资与选址逻辑将围绕推理与 Agent 负载而非预训练优化，对芯片厂商、云厂商与基础设施投资者均有直接影响。
• 预训练 ROI 放缓的判断与业界关于 scaling 曲线收益递减的讨论相呼应，给出了从「堆 FLOPs」转向「攻数据搬运瓶颈」的具体技术叙事。

2026-09-02 ~ 2026-09-03 · 9 条相关

• Sarah Hooker:测试时计算与智能体工作流正迫使 AI 基础设施重构 — sarahookr · 2026-09-02
• Sarah Hooker：测试时计算与 Agent 工作流正重塑 AI 基础设施 — sarahookr · 2026-09-02
• 【源头】Cohere 研究副总裁 Sarah Hooker：推理时代正在改写十年 GPU 设计逻辑 — sarahookr · 2026-09-02
• Cohere 研究总监：预训练 ROI 放缓，重心转向推理时计算 — sarahookr · 2026-09-02
• 【源头】测试时算力不必扎堆：推理冗余性改变数据中心选址逻辑 — sarahookr · 2026-09-02
• Sarah Hooker:AI Agent 是改变算力格局的第二大驱动力 — sarahookr · 2026-09-02
• Agent 推理像反复进出烤箱的饼干，需要一套全新基础设施 — sarahookr · 2026-09-02
• 【源头】Sara Hooker：Agent 时代 Infra 的核心战场是冯·诺依曼瓶颈 — sarahookr · 2026-09-03
• Agent 循环重构基础设施:冯·诺依曼瓶颈成核心挑战 — sarahookr · 2026-09-03