SGLang 联手 Google 与 Meta 发布 TorchTPU 插件，已在 Meta 生产推理落地
BanghuaZ · x · 2026-10-22
SGLang 官方宣布推出 SGLang-TorchTPU，与 Google TPU 团队和 Meta PyTorch 团队联合构建，并已在 Meta 的生产推理环境中运行。
- 这是一个面向 SGLang 的 TPU 插件，主打在 Google Ironwood TPU 上运行头部开源模型：Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3
- 针对大规模 agentic 工作负载提供 SGLang 的生产级特性
- 自研 MegaKernel：Muse Spark Open 在 InferenceX 8K/1K 基准下、bs=1 时解码速度达 770 tok/s
- 团队表示 Ironwood 发布后 TPU 生态发展迅速，SGLang 将继续挖掘 TPU 潜力
对 TPU 推理栈和开源模型部署是重要进展。
「编程与Agent」频道最新
- 开发者用 AI 从游戏关卡进化出完整可视化地图编辑器 — Dimillian · 2026-10-22
- 港大开源 PrismaCoder:200 万样本多模态代码数据集对标闭源 — hkunlp · 2026-10-22
- AI 代购分流：沃尔玛用 MCP 开门迎 Agent,亚马逊筑墙拒绝 — sanjaykalra · 2026-10-22
- 开源自托管版 Claude Duet:open-duet 获 5.9k star — matchaman11 · 2026-10-22
- 开源引擎 Locals 让 Apple Silicon 本地 LLM 提速最高 3 倍 — SumitGup · 2026-10-22
- AI 自动化省下的时间去哪了：维护成本吃掉收益引发讨论 — djgoel123 · 2026-10-22