TPUv7 首次提交 Kimi K3 2.8T 推理，高交互场景 TCO 击败 GB200/B300
woosuk_k · x · 2026-10-19
SemiAnalysis 报告，Inferact（vLLM 团队）与 Google 提交了首个 TPUv7 上的 Kimi K3 2.8T 模型初步推理评测。
关键信息：
- 在超高交互（P90 interactivity）区间，TPUv7 凭借 megakernel 方案，每美元 TCO 的 token 产出优于 GB200 NVL72、B300 和 MI355
- 配图给出各芯片 TCO $/chip/hr：TPUv7 1.21、MI355X 1.5、B200 1.73、GB200 1.86、B300 2.26/GB300 2.31
- 提交由 Inferact 端到端完成，使用 TorchTPU vLLM 技术栈，作者强调外部算力平台拥有强社区的重要性
- 数据来自 SemiAnalysis InferenceX 预览版，验证仍在进行中
「Infra」频道最新
- RTX 5090 本地跑 Qwen 视觉模型，单条提示 26 分钟生成完整 3D 房间游戏 — Beneficial-Ad-8127 · 2026-10-19
- RTX 3090 跑 Qwen3 27B 提速 4.6 倍，纯软件优化零硬件改动 — rickasaurus · 2026-10-19
- 微软撤出英国数据中心交易，Nscale IPO 前景蒙尘 — GaryMarcus · 2026-10-19
- NVIDIA DGX Spark 或以约 2000 欧元价格登陆欧洲 — AIFlow_ML · 2026-10-19
- BTIG:SOXX 九连阴现顶部结构,反弹即减仓良机 — SumitGup · 2026-10-19
- 华硕 GX10 二手价降至约 4300 美元,亚马逊仅剩 3 台 — AIFlow_ML · 2026-10-19