开源 LLM 代理 Olla 发布 v0.1.0：多后端统一负载均衡与故障转移
2shanigans · reddit · 2026-11-03
Go 编写的轻量级 LLM 代理与负载均衡器 Olla 发布 v0.1.0（第 25 个版本），面向 homelab 与本地/私有化部署场景，解决多台机器、多推理运行时（Ollama、vLLM、SGLang、llama.cpp、LM Studio、MLX 等）难以统一管理的问题。
主要特性：
- 模型感知路由：自动发现各后端模型并路由到真正提供该模型的机器
- 负载均衡与故障转移：优先级、轮询、最少连接策略，带健康检查与熔断
- 统一 API：提供 OpenAI 与 Anthropic 兼容接口（含协议转换），可对接 Open WebUI、Claude Code 等
- KV cache 本地性：sticky sessions 保持请求落在同一后端
- 可观测性：内置 dashboard、端点健康、请求统计、Prometheus 指标
- 单 Go 二进制或 Docker 部署，无需数据库/K8s
v0.1.0 新增：Hugging Face TEI 支持（embeddings/rerank/分类）、重构 dashboard、可配置重试与故障转移（含非幂等请求处理）、模型能力检测改进（vision/tool calling）、修复模型发现与推理请求的并发问题等。配图为 dashboard 界面：6 端点全健康、平均延迟 181ms、sticky session 命中率 90.1%。
「Infra」频道最新
- 维修技师爆料：RTX 5090 将推 64GB 与 96GB 显存版本 — MundanePercentage674 · 2026-11-03
- 韩媒：三星 Taylor 二期厂未开建已被 AMD 与 NVIDIA HBM 基底芯片订满 — zephyr_z9 · 2026-11-03
- QLink 核心洞察：一个模型的 store 就是对另一个模型的合法内存写 — zeeshanp_ · 2026-11-03
- 4 个 QwenGPU 集合通信结果与真实 NCCL 逐位一致 — zeeshanp_ · 2026-11-03
- 神操作：把 GPU 编译进 Qwen 权重，用模型解码跑 CUDA 内核 — zeeshanp_ · 2026-11-03
- 英国 Isambard-AI 开放申请：初创公司可获最多 100 万 GPU 小时 — bodonoghue85 · 2026-11-03