llama.cpp 发布 v1.0.0:3.5 年本地推理项目迎来首个正式版
teortaxesTex · x · 2026-11-21
llama.cpp 一周前正式发布 v1.0.0,这个由 Georgi Gerganov 等人维护 3.5 年的本地推理项目进入稳定 API 阶段。
- 项目通过量化、优化后端和可移植的 C/C++ 实现,让多模态 LLM 从消费级本地机器跑到企业服务器都能推理
- 团队称大量下游应用已依赖其接口,随着本地 AI 与隐私需求增长,稳定灵活的 API 成为首要目标
- 配图还展示了用本地模型 Inkling-2-Mini(Q8 量化,5.41 t/s)运行时的严谨推理表现:面对"Anthropic 证明了黎曼猜想"的诱导,模型拒绝轻信并给出核查方法
「Infra」频道最新
- 英伟达 33 个交易日蒸发 2.8 万亿美元市值,创史上最大纪录 — garrytan · 2026-11-21
- Mistral 开源万亿参数多模态旗舰 Le Chonk,编码与防御安全领跑开放权重 — IAmSamFin · 2026-11-21
- Unsloth 桌面端实测惊艳:本地模型版 Claude Desktop — NielsRogge · 2026-11-21
- Sentdex 在 GB300 上本地跑新模型,机器人抓取任务从 5 分钟缩到 40 秒 — Sentdex · 2026-11-21
- Chris Lattner 预告 Modular 将于 12 月 8 日办 Meetup 并有硬件新动作 — clattner_llvm · 2026-11-21
- 预算装机选 AM4/DDR4 还是 AM5/DDR5 跑本地 AI — Realistic-Leading542 · 2026-11-21