Ousterhout：AI 集群对 TCP 的告别时刻到了
AI Engineer · youtube · 2026-09-17
斯坦福教授 John Ousterhout 在 AI Engineer 演讲中指出，AI 集群流量形态已悄然改变，TCP 正在成为瓶颈。
- 问题：GPU 间每轮计算后需交换元数据同步，交换期间所有 GPU 空转等待最慢者。过去计算阶段长达数秒、交换仅几毫秒无人在意；Agentic 推理把计算阶段压缩到毫秒级，同步开销已与计算本身相当。
- 结构性缺陷：拥塞控制一直由发送端负责，但队列实际堆积在接收端最后一跳，发送端只能靠约 1 bit 的二手信息、滞后数个往返才察觉，二十年来始终振荡。现场调查中，认为小消息延迟限制吞吐的人比预期多。
- Homa 方案：出自 Behnam Montazeri 的博士论文，把拥塞控制移到接收端——从首个包即知后续数据量，通过 grant 机制放行；以消息取代字节流，短消息可越过长消息排队，并利用交换机现有优先级队列，基准测试对比 TCP。
「Infra」频道最新
- Llama.app 上新:LFM3、Mistral Large 4 与 Flint 三款模型上架 — mervenoyann · 2026-11-03
- 月耗 5B tokens 是买 8 卡 H200 还是付 API?算账结果约 4.8B 打平 — recentheartbroken · 2026-11-03
- 开发者整合 RTX 20/30/40 张量核心解锁工具,4070 Ti 实测成功 — MindAllik · 2026-11-03
- 一张图讲透 CPU vs GPU vs TPU：计算、内存与适用场景全对比 — mdancho84 · 2026-11-03
- Anthropic 推出 Message Threads，长对话首字延迟降 35% — The Decoder · 2026-11-03
- Anthropic 三季度短期算力狂掷 50 亿美元重回经营亏损 — pstAsiatech · 2026-11-03