谷歌 Hot Chips 发布第八代 TPU:一年两款芯片,推理训练分开设计
firstadopter · x · 2026-09-03
- Google 在 Hot Chips 2026 会议上由 TPU 技术负责人 Norman Jouppi 与芯片架构高级总监 Sridhar Lakshmanamurthy 介绍第八代 TPU。
- 历代 TPU 累计已实现约百万倍性能提升；从第一代 PCIe 推理卡演进至今。
- 关键变化：从一年一款改为一年两款芯片，推理优化与训练优化设计分化，以覆盖从 10 万+ 芯片的超大规模预训练到几颗芯片的小模型推理、蒸馏、MoE 与 agent 模型。
- MoE 与 agent 模型带来远超以往的通信需求——FLOPs 容易扩展、互联难扩展，本代在互联扩展上投入大量工作。
「Infra」频道最新
- 企业 token 支出增速从 42% 骤降至 0.2%,超大规模厂商 ROIC 跌至 20% — SumitGup · 2026-10-21
- 高通全球裁员转战 AI 数据中心：目标 2027 年 50 亿美元营收 — rohanpaul_ai · 2026-10-21
- vLLM 登台 PyTorchCon 2026：跨 TPU、AMD、NVIDIA 优化 KV cache 与内核 — PyTorch · 2026-10-21
- antirez 尝试用 DeepSeek Infer 为 DGX Spark 优化 DwarfStar 内核 — antirez · 2026-10-21
- 三进制 2-bit 端侧模型 Ternary-Bonsai-2-9B 上架 HF,支持视觉输入 — prism-ml · 2026-10-21
- GPU 管预填、Positron 管解码:异构推理组合瞄准内存带宽瓶颈 — cneuralnetwork · 2026-10-21