Baseten 详解 Moonshot 2.8T 参数 Kimi K3 首日 API
philipkiely · x · 2026-07-27
Baseten 介绍了自己如何为 Kimi K3 做到“首日可用”的推理 API，并披露了不少部署细节。
- 他们拿到 Moonshot AI 的早期权重后，先在 NVIDIA GB300 NVL72 上把模型跑起来。
- 文中称 Kimi K3 是一个 2.8T 参数的开源前沿模型，采用 Kimi Delta Attention (KDA)、AttnRes、稀疏 MoE 和新的视觉编码器。
- 由于权重以 MXFP4 形式存在，体量超过 1.4TB，因此推理部署涉及大量工程改造。
- Baseten 还和 vLLM、SGLang 团队合作，适配新架构、工具调用、视觉输入和 tokenization 等能力。
「Infra」频道最新
- Kimi K3 被指服务成本比 V4 高出两倍以上 — teortaxesTex · 2026-07-27
- Cisco 发布面向本地漏洞定位的开源模型 Antares — thione · 2026-07-27
- Etched 融资 3 亿美元，估值升至 103 亿美元 — thione · 2026-07-27
- Etched 融资 3 亿美元，估值升至 103 亿美元 — thione · 2026-07-27
- 梗图把“数据中心上云”画成仓库大火 — evilsocket · 2026-07-27
- Google DeepMind 发布 LLM 规模化训练与 GPU 指南 — mdancho84 · 2026-07-27