谷歌开源 TPU 协同设计指南:八条原则榨干 LLM 与 MoE 训推性能

rseroter · x · 2026-11-19

谷歌在开发者博客发布开源的 AI-Hypercomputer/tpu-codesign 指南,讲如何在 TPU(面向 Ironwood/TPU v7x 及未来世代)上为 LLM、MoE 等重算力负载做模型设计与优化。核心观点:模型定义阶段的架构选择决定了 MFU、成本和推理延迟的永久上限,指南把规则分为三组:

新设计模型应从形状规则入手;改造现有模型则主要适用并行表达部分。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →