llama.cpp 新增 Decision Models,本地推理迎来新玩法
paf1138 · reddit · 2026-10-02
Reddit 用户分享 ggml 官方博客文章:llama.cpp 引入「Decision Models」新特性。
- 文章地址:huggingface.co/blog/ggml-org/decision-models-in-llamacpp
- llama.cpp 是最主流的本地大模型推理框架,新特性面向模型决策/路由场景
- 对本地部署和端侧推理用户值得关注
「Infra」频道最新
- 微软开源 NVX:基于 OpenVMM 的超轻量微 VM 沙箱,专跑不可信 Agent 负载 — unixterminal · 2026-10-02
- NVIDIA 演示混合 AI 智能路由:judge 模型实时分配本地与云端推理 — NVIDIA Developer · 2026-10-02
- 亚马逊据报拟向外部投资者出售 80 亿美元 Nvidia AI 芯片 — Polymarket · 2026-10-02
- Hugging Face CEO:决策模型 Kev-4B 可在 llama.cpp 端侧免费运行 — ivan_bezdomny · 2026-10-02
- Firmus 拟募 70 亿美元 IPO 或成澳史上第二大，遭社区质疑童话预测 — nordicinst · 2026-10-02
- 美光联手英伟达开发定制 HBM，基 dies 外包台积电押注 NVHBM — pstAsiatech · 2026-10-02