KitOps ModelKit 携手 HAMi:模型从 OCI 仓库到 GPU 推理一条龙
HowDevelop · x · 2026-09-27
一套演示如何把模型打包为版本化 KitOps ModelKit(OCI 制品),经 HAMi 虚拟化 GPU 共享调度,再用 SGLang 对外提供 OpenAI 兼容 API 的完整流程:
- 模型打包为 ModelKit,版本化存入 OCI registry(示例用 Jozu Hub)
- KitOps 的 initContainer 在 Pod 内拉取并解包模型
- HAMi 通过 nvidia.com/gpu / gpumem / gpucores 精细控制 GPU 份额
- SGLang 从本地目录加载模型并起服务,可选 vLLM 与其同卡共存
提供了一条从模型制品到可用推理服务的清晰路径,适合在 Kubernetes + NVIDIA GPU 集群上复现。
所属事件:KitOps ModelKit 联手 HAMi 打通 GPU 推理全链路(2 条相关)→
「编程与Agent」频道最新
- 多项目共用 Agent Skill 版本失控?他用 git worktree 加合并 Skill 解决 — JnBrymn · 2026-09-27
- RingCentral 开源 FFS MCP 服务器,自然语言管理功能开关 — modelcontextprotocol · 2026-09-27
- analytics MCP:让 AI 聊天里跑可验证、可引用、可复跑的数据分析 — modelcontextprotocol · 2026-09-27
- 用 Muse Agent 一天搞定全家旅行:机票、保姆、餐厅全包办 — armand_ruiz · 2026-09-27
- 开发者断言:Opus 5.5 之后「氛围编程」该退休了 — alejandroll10 · 2026-09-27
- AI agent 什么都能干，为何十年内难普及？因为生活不够复杂 — menhguin · 2026-09-27