LFM2.5-24B Hermes 适配器 GGUF 上线：llama.cpp 直连省 20% 调用
yb2698 · x · 2026-11-02
harness-hub 发布了 LFM2.5-24B-A2B Hermes 适配器的 GGUF 版本（约 37MB 的 F16 LoRA），可在 llama.cpp 服务器上直接加载运行：基座精度不变，但在两者都能解决的任务上工具调用减少约 20%。
部署要点：
- 下载 LiquidAI 官方基座 GGUF（作者建议 Q80，越接近训练用的 BF16 权重效果越好）+ 适配器 GGUF
- 用 llama serve -m 基座.gguf --lora 适配器.gguf -c 65536 启动；Hermes agent 每个会话至少需要 64K 上下文，并行 slot 数增加时要相应调大
- 安装 NousResearch 的 hermes-agent 后，在 /.hermes/config.yaml 里指向本地 8080 端口的 custom provider 即可运行 hermes chat
- 适配器由 PEFT 权重经 llama.cpp 的 convertloratogguf.py 转换而来
适合想在本地跑 agent 且希望降低工具调用开销的开发者。
所属事件:LFM2.5-24B Hermes 适配器发布,工具调用省20%(2 条相关)→
「编程与Agent」频道最新
- ChatGPT 抓取不执行 JS，客户端渲染网站对 AI 全盲 — gaganghotra_ · 2026-11-02
- SGLang仅用一 dict 替换共享显存记账,多模态推理提升10%+ — charles_irl · 2026-11-02
- Mac 语音输入工具 kivi:说话即成文,支持口头改代码 — itsOmSarraf_ · 2026-11-02
- 11 行代码加一个基础 LLM 就能搭决策模型,工程师晒实现细节 — helloiamleonie · 2026-11-02
- 先整理代码库再让 AI 写测试：作者称效果胜过一切 prompt 技巧 — arpit_bhayani · 2026-11-02
- 黑客公开 10 条 AI 提示词,复盘 PHP 9.2 分 RCE 漏洞混乱 36 小时 — Dave_Maynor · 2026-11-02