AWS 官方详解 Kimi K3 部署：需 8 张 B300 GPU
AWS ML Blog · rss · 2026-07-31
AWS 官方博客发布了在云端部署 Kimi K3 模型的详细指南。Kimi K3 拥有 2.8 万亿参数，采用 MoE 架构，单次推理激活约 1040 亿参数，并支持 100 万 tokens 上下文。
文章提供了两种部署方案：
- Amazon SageMaker HyperPod：通过 Inference Operator 简化容器编排和模型加载，需使用 Flexible Training Plans 预留算力。
- Amazon EKS：适合自行管理 Kubernetes 集群的团队，通过 EC2 Capacity Blocks 预留实例。
硬件与推理要求：部署该模型必须使用 ml.p6-b300.48xlarge 实例（配备 8 张 NVIDIA B300 GPU）。推理引擎推荐使用 vLLM 的专用容器，模型权重以 MXFP4 格式分发以平衡质量和内存效率。
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16