vLLM 0.32 新增结构化决策 API：读首 token 概率出答案

AccBalanced · x · 2026-10-19

vLLM 0.32.0 引入 /v1/systemone 结构化决策 API：给定一组合法答案，直接读取模型首 token 概率返回结果，而非逐字生成 JSON。支持三种模式——choice（在允许答案间选择并给概率）、yes/no（各概率）、score（有序等级概率），可配合普通生成式模型使用（文档用 Qwen3-0.6B 演示）。配合前缀缓存，对同一状态问多个问题时可只 prefill 一次，每个额外决策只需「问题→单 token 读取→概率」。该版本共 814 commits，还带来 NVFP4/FB8 低精度 KV cache、GPU n-gram 投机解码 Model Runner V2 等更新。