Baseten 详解 Moonshot 2.8T 参数 Kimi K3 首日 API
philipkiely · x · 2026-07-27
Baseten 介绍了自己如何为 Kimi K3 做到“首日可用”的推理 API，并披露了不少部署细节。
- 他们拿到 Moonshot AI 的早期权重后，先在 NVIDIA GB300 NVL72 上把模型跑起来。
- 文中称 Kimi K3 是一个 2.8T 参数的开源前沿模型，采用 Kimi Delta Attention (KDA)、AttnRes、稀疏 MoE 和新的视觉编码器。
- 由于权重以 MXFP4 形式存在，体量超过 1.4TB，因此推理部署涉及大量工程改造。
- Baseten 还和 vLLM、SGLang 团队合作，适配新架构、工具调用、视觉输入和 tokenization 等能力。
所属事件:Baseten 实现 Kimi K3 首日可用并上线 Model API(7 条相关)→
「Infra」频道最新
- Unsloth Desktop 热修复：Qwen-Image-2.1 支持图像编辑与量化修复 — danielhanchen · 2026-09-23
- 128GB Strix Halo 跑 Qwen3.6 35B-A3B 稳定 50 tok/s,用户问现在最优解是什么 — jankeydankey · 2026-09-23
- Together AI 上线灰度发布：模型升级不停机，分步切流自动回滚 — togethercompute · 2026-09-23
- 专为大规模运行 Agent 的专用硬件亮相 — cyrilzakka · 2026-09-23
- 三元权重压缩 27B 模型仅 5.9GB,推理能力保留 95% — cephaloform · 2026-09-23
- RTX5090 上 Qwen 27B 跑 24 小时,自主写出完整 Postgres-SpringBoot-React 表格应用 — anglepoiselife · 2026-09-23