开发者开源 rubick：单个 LLM 同时充当对话、嵌入与决策多端点网关

wFXx · reddit · 2026-10-19

受 IBM Granite Switch（用一个模型挂多个 aLoRA 服务不同用途）的启发，作者开源了 rubick——一个指向任意 llama.cpp 兼容端点的代理网关，从同一个模型暴露出常规 LLM 对话端点、类 jev 的 systemone 决策端点和 embeddings 端点（计划再加 ASR）。

技术要点：复用 kv-cache、无需模型切换、支持即插即用的 aLoRA 来增强各端点回答；docs 里给了终端用户硬件上约 1 小时可完成训练的 aLoRA 配方；有 benchmark、用例和 docker 配置，Apache 2.0 协议。作者称这是 PoC，希望 llama.cpp 或其他推理引擎能采纳这些思路，并致谢 numind 在 vLLM 上的 PR 作为起点。