HAMi 实验室教程:60 分钟跑通 ModelKit 到 SGLang 推理全链路
HowDevelop · x · 2026-09-27
HAMi 官方文档 Lab 17 的详细教程(约 60 分钟,已验证),演示在带 NVIDIA GPU 的 Kubernetes 集群上:
- 将模型打包为 KitOps ModelKit(版本化 OCI 制品),存于 Jozu Hub,无需登录即可拉取
- 自建 kitunpacker init 镜像与 SGLang serve 镜像,initContainer 负责拉取解包模型
- 通过 HAMi 的 nvidia.com/gpu / gpumem / gpucores 参数调度工作负载
- 用 OpenAI 兼容 API 验证推理,可选在同一物理 GPU 上共存一个 vLLM Pod
教程含完整部署架构图、前置条件(kind + H100 集群)与验证步骤,是上一条推文对应的一手文档。
所属事件:KitOps ModelKit 联手 HAMi 打通 GPU 推理全链路(2 条相关)→
「编程与Agent」频道最新
- 多项目共用 Agent Skill 版本失控?他用 git worktree 加合并 Skill 解决 — JnBrymn · 2026-09-27
- RingCentral 开源 FFS MCP 服务器,自然语言管理功能开关 — modelcontextprotocol · 2026-09-27
- analytics MCP:让 AI 聊天里跑可验证、可引用、可复跑的数据分析 — modelcontextprotocol · 2026-09-27
- 用 Muse Agent 一天搞定全家旅行:机票、保姆、餐厅全包办 — armand_ruiz · 2026-09-27
- 开发者断言:Opus 5.5 之后「氛围编程」该退休了 — alejandroll10 · 2026-09-27
- AI agent 什么都能干，为何十年内难普及？因为生活不够复杂 — menhguin · 2026-09-27