Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶
AccBalanced · x · 2026-11-22
BerriAI 团队发布 Inference Stack(v0.1.2 preview),一条命令即可自托管整套模型推理基础设施,主打“完全拥有自己的推理”。
- 部署方式:支持 Docker Compose(单机)与 Kubernetes,安装脚本一行 curl | bash 即可完成,装好后在 localhost:8080 用生成的 admin 密码登录。
- 技术栈组成:
- vLLM:负责模型推理,可从 Hugging Face 搜索模型并检查 GPU 需求后一键部署;
- LiteLLM:统一 API 入口,支持创建密钥、团队与预算管理,内置 Playground 直接试模型;
- llm-d:基于缓存和队列数据为每个请求选择 vLLM 副本,默认即启用路由,可自行调权重;
- Grafana + Prometheus:内置仪表盘展示模型健康度、请求流量与响应时延。
- 真实模型需要 NVIDIA GPU,无 GPU 时可在模型设置里开启 simulation 模式获得固定响应用于体验。
「编程与Agent」频道最新
- 跨厂商模型互查:对抗性审查对冲同一厂商的盲区 — craigbalding · 2026-11-22
- 用户吐槽 GPT-5.5 难用:写冗余代码、乱建重复函数 — yacineMTB · 2026-11-22
- 开源 Easy MCP:一条链接让网页版 AI 直接读写你本地文件 — Stunning_Pack_4636 · 2026-11-22
- 「只有让 agent 上手够快的软件才能活」:低摩擦成 AI 时代生存标准 — alexmacgregor__ · 2026-11-22
- 博主质疑:夸 Gemini 4 Neon 的人真的在用 Antigravity 吗 — iScienceLuvr · 2026-11-22
- 「用 Claude 写 2000 行、Codex 审 10 秒」引发工程质量担忧 — _jaydeepkarale · 2026-11-22