谷歌开源 TPU 协同设计指南:八条原则榨干 LLM 与 MoE 训推性能
rseroter · x · 2026-11-19
谷歌在开发者博客发布开源的 AI-Hypercomputer/tpu-codesign 指南,讲如何在 TPU(面向 Ironwood/TPU v7x 及未来世代)上为 LLM、MoE 等重算力负载做模型设计与优化。核心观点:模型定义阶段的架构选择决定了 MFU、成本和推理延迟的永久上限,指南把规则分为三组:
- 形状规则(原则 1–2):硬件对齐的维度与静态形状,几乎不影响模型质量,建议始终采用;
- 架构选择(原则 3–7):如 LatentMoE 等结构性设计,多数涉及质量权衡,需用消融验证;
- 并行表达(原则 8):并行策略、kernel 与编译器调优,无需改动模型。
新设计模型应从形状规则入手;改造现有模型则主要适用并行表达部分。
「Infra」频道最新
- Meta 开源 Triton 低层扩展 TLX,Python 内直接掌控 GPU 执行 — Meta_Engineers · 2026-11-19
- vLLM 团队创业做 Inferact:围绕 vLLM 打造自治推理系统 — vllm_project · 2026-11-19
- AI 泡沫回调实锤:CoreWeave 跌 74%,Oracle 跌 65% — SumitGup · 2026-11-19
- 银行紧急出售 8 亿美元 AI 数据中心债务,涉 Oracle Stargate 项目 — SumitGup · 2026-11-19
- 美国 BIS 新规封堵云租卡:CNAS 撰文评其得失 — paul_scharre · 2026-11-19
- AWS 发布 AgentCore Gateway 私有 API 组网模式,流量过中央防火墙 — AWS ML Blog · 2026-11-19