llama.cpp 新增 IBM Granite 模型切换功能，本地即可运行
jacek2023 · reddit · 2026-10-17
llama.cpp 合入 PR #30676（by gabe-l-hart），新增对 IBM Granite 系列模型的 switch decision 支持，意味着用户可以在本地用 llama.cpp 直接运行 IBM Granite 模型。
「Infra」频道最新
- Credo 推 ALC 有源光缆，瞄准 2030 年约 650 亿美元短距光互连市场 — BenBajarin · 2026-10-17
- pplx-decider 新思路:同一状态的多问题共享序列一次前向 — antoine_chaffin · 2026-10-17
- SemiAnalysis：多家 Neocloud 因引入 AMD/TPU 被 NVIDIA 拒入 GTC Berlin — AccBalanced · 2026-10-17
- 100GB+ 内存能跑什么规划模型？Reddit 征集本地部署方案 — GodComplecs · 2026-10-17
- vLLM 首次由 AI Agent 自主完成模型优化,每步均有明确性能提升 — vllm_project · 2026-10-17
- 越狱 PS5 本地跑大模型超 100 tokens/s：PS5LM 分支吃上 GPU 和更多内存 — ControlCAD · 2026-10-17