llama.cpp 新增 llama serve 命令,Inkling 2 Mini GGUF 一行即起服务
simonguozirui · x · 2026-11-21
julienc(llama.cpp 作者 Georgi Gerganov)演示了一条命令:llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4NL,直接从 Hugging Face 拉取 Inkling 2 Mini 的 IQ4NL 量化版并启动本地服务。配图显示 ggml 于 11 月 20 日发布 Inkling 2 Mini 模型,同时 llama serve 作为新的服务化命令亮相,本地部署 LLM 的流程进一步简化。
「Infra」频道最新
- RTX 5090/4090 全本地栈:开源权重模型跑生产级开发与测试闭环 — awitod · 2026-11-21
- Vespa 创始人创办 Hornet:打造 agent 时代检索基础设施 — jobergum · 2026-11-21
- Nebius 透露 Q3 算力协议涨至每兆瓦 2500 万美元以上 — Beth_Kindig · 2026-11-21
- NVIDIA 发布稀疏注意力八条设计准则,Top-k 复用提速 2.4 倍 — NVIDIAAI · 2026-11-21
- 本地推理引擎 TensorFold 1.3.2:96 个 PR,DeepSeek-V4.1 Metal 解码提速 6-17% — AIFlow_ML · 2026-11-21
- 曝 SEC 调查 Nvidia 会计问题,股价已蒸发 2.5 万亿市值 — ftchd · 2026-11-21