KLIF 开源：一个窗口统一管理 llama.cpp、vLLM 等本地推理服务器

Koksny · reddit · 2026-10-06

开发者 Koksny 开源了 KLIF，一个 MIT 协议、Rust 编写的本地模型服务器统一管理前端（AMD 优先），GitHub 地址 koksny/klif。

定位：它不是推理运行时也不是模型库，不附带任何 server 或权重，本身像「本地推理服务器的 Steam」，把 llama.cpp、sd.cpp、vLLM、TTS 等后端集中到一个窗口和 CLI 里管理，支持本机与局域网机器。
由来：作者长期跑本地模型，厌倦了手动管理脚本，先拼了个 shell 启动器，一个月攒了 500+ 配置文件后逐步打磨成现在形态。
核心功能：Web 面板管理所有后端；可让 agent 直接按需开关各后端，无需说明端口位置；能根据硬件推荐模型并从 huggingface.co 下载（这是它唯一联系的外部主机）；CLI 还能帮 agent 对模型做 benchmark 和校准。
附加：带预填/生成速度记录、动画皮肤等「larping」特性，Rust 编写资源占用极小。

「编程与Agent」频道最新