XGrammar-2 发布:为 Agent 工具调用提供严格结构化输出
vllm_project · x · 2026-09-22
MLC 发布 XGrammar-2，专攻 Agent 场景的结构化生成
- 引入 Structural Tag：可组合的 JSON 协议，统一表达 OpenAI harmony 格式、工具调用、推理通道及自定义输出结构，直接通过推理引擎 API 暴露
- 通过跨 grammar 缓存、重复状态压缩、批处理与投机解码等优化，即使结构非常庞大也保持低开销
- 已被 xAI、Databricks、DeepSeek 等公司采用；SGLang、vLLM、TensorRT-LLM、MLC-LLM 均已集成，用于强制工具参数符合 schema
- vLLM 团队特别致谢：借助 XGrammar 在 vLLM 上为 DeepSeek V4.1 提供可靠且高性能的 strict tool calling
「编程与Agent」频道最新
- Allie Miller:企业 AI 落地最缺的不是工具,是流程交接自动化 — alliekmiller · 2026-09-22
- 开发者用 Scenario 的 MCP 在游戏内直接替换 3D 模型 — AIandDesign · 2026-09-22
- Cua AI 发布 Cua-Bench-S1 基准与 Cua-S1 系列电脑操作模型 — ycombinator · 2026-09-22
- 多智能体或成扩展新引力，呼吁 OpenAI 公布扩展曲线 — 1a3orn · 2026-09-22
- GPT-6 调推理强度不再失效提示缓存，Codex 支持中途自适应推理 — daniel_mac8 · 2026-09-22
- jev-model-router让Claude Code按任务难度自动切换模型 — dr_cintas · 2026-09-22