利用 GBNF 语法约束解决本地小模型 JSON 输出错误

在本地运行 AI Agent 时，参数量较小的模型常在输出结构化 JSON 时出现丢失括号、捏造工具名或混入无关文本等格式错误。针对这一工程痛点，开发者提出使用 GBNF 语法（grammar 约束）进行干预。该方案通过在底层限制模型的生成规则，有效避免了小模型写坏 JSON 格式的问题，为构建可靠的本地智能体提供了实用的解决思路。

2026-07-29 ~ 2026-07-30 · 2 条相关

• 用 grammar 约束，本地模型终于不再把 JSON 写坏 — paulqq · 2026-07-29
• 用 GBNF 语法彻底解决本地大模型 JSON 输出断裂问题 — paulqq · 2026-07-30