一个 token 就够：logit_bias 单 token 约束采样把 LLM 变分类器

AAAzzam · x · 2026-09-21

作者回顾了在「Jev 之前」（before current jevents）用 logitbias + maxtokens=1 把 LLM 硬改成分类器的技巧：通过约束采样（constrained sampling）让 ChatGPT 只输出一个 token，但这个 token 可以玩出很多花样——做成分类器、逻辑门，或让模型以演绎方式选择工具。作者称这些内容出自他本周在 Chroma 的分享，并对新的 Jev 表示信任。这是单 token 约束输出这一非显然用法的很好示例：配合 logitbias 限定候选 token，可以让模型输出完全确定、可解析的结果，适合路由、判断等 agent 场景。