Google 携手 Meta 让 TorchTitan 原生跑 TPU，Llama 3 等可直接预训练

rseroter · x · 2026-10-22

Google 与 Meta 联合宣布将 TorchTPU 集成进 TorchTitan，PyTorch 模型在 Google Cloud TPU 上的大规模训练门槛大幅降低。

• TorchTPU 提供 TPU 原生后端（torch.device("tpu")），直接进入 PyTorch 核心接口，训练脚本只需极少的设备初始化改动
• 过去在 TPU 上训练 PyTorch 模型要么整体重写为 JAX，要么使用陈旧的 torchxla；如今 Google 与 Meta 在 TorchTitan 内共同开发了 TPU 原生执行 pass
• TorchTitan TPU fork（github.com/google-pytorch/torchtitan）支持 Llama 3、Qwen 3、DeepSeek V3、GPT-OSS、FLUX.1 等模型的预训练与后训练，含 FSDP2、SimpleFSDP、融合交叉熵、Pallas kernel 等 TPU 优化
• 配图给出完整架构图：Graph Trainer 按 XLA 程序做整步编译、CPU offload 激活值、编译优化器等实现细节

原文链接 →

「编程与Agent」频道最新

• Anthropic 先发 Claude Duet 代理后补安全方案,遭批本末倒置 — alex_verem · 2026-10-22
• 多智能体框架 senpai 新版:worker 可互聊,不再只靠编排器传话 — _ScottCondron · 2026-10-22
• ThursdAI 直播前瞻：各大实验室争做个人 Agent 谁来把关安全？ — altryne · 2026-10-22
• 工程师感叹：现有 AI Agent 全是被动响应，「主动式」无人做 — majidmanzarpour · 2026-10-22
• 一句话让 Grok Bot 自动建好 Starship 飞行追踪仪表盘 — XFreeze · 2026-10-22
• Matt Pocock 分享 /grill-me 提示词：让 AI 逐题拷问需求 — mattpocockuk · 2026-10-22

更多「编程与Agent」频道 AI 资讯 →