llama.cpp 合入 token 感知解析:工具调用更稳、吞吐更高

jacek2023 · reddit · 2026-11-23

llama.cpp 合入 PR #29307「token aware parsing」(作者 aldehir,62 commits,+1988/-502 行,21 条评论、5 轮 review)。该改动为 chat 实现感知 token 边界的解析,目标是让工具调用(tool calling)更可靠,同时提高每秒 token 数。对在本地跑 LLM 并依赖 function calling / agent 工作流的开发者是实质性改进。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →