llama.cpp 新增 llama serve 命令,Inkling 2 Mini GGUF 一行即起服务

simonguozirui · x · 2026-11-21

julienc(llama.cpp 作者 Georgi Gerganov)演示了一条命令:llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4NL,直接从 Hugging Face 拉取 Inkling 2 Mini 的 IQ4NL 量化版并启动本地服务。配图显示 ggml 于 11 月 20 日发布 Inkling 2 Mini 模型,同时 llama serve 作为新的服务化命令亮相,本地部署 LLM 的流程进一步简化。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →