在 Kubernetes 上自建 LLM 推理的生产运维手册
GD-Champ · reddit · 2026-07-29
在 Kubernetes 上自建 LLM 推理的生产运维手册
作者分享了自己在公司里搭建 in-house LLM inference 基础设施时整理出的生产运行手册，重点放在 Kubernetes 环境下如何把推理服务真正跑稳。
这不是概念介绍，而是偏实战的工程复盘：围绕自建推理栈的部署、运维与生产落地经验展开，并邀请其他有类似实践的人交流做法。
「Infra」频道最新
- 印度 AI 推理市场将奖励模型与硬件协同优化的公司 — santoshpanda · 2026-07-29
- Hermes Agent 桌面版靠并行工具和远程本地模型圈粉 — Teknium · 2026-07-29
- 中文威胁行动者换服务器，并从 AI 转售站泄露 775 个密钥ID — cyb3rops · 2026-07-29
- 6家Nvidia系neocloud正洽谈印度数据中心租赁 — HimanshiET · 2026-07-29
- CXMT 被拿来对标 SK 海力士，芯片市值赛道升温 — basedjensen · 2026-07-29
- 一份推理工程清单覆盖 vLLM、量化到压测 — ZeYanjie · 2026-07-29