Transformers 新端点让 250 个模型秒变决策模型
Hugging Face transformers 维护者 Lysandre Dubreuil 于 10 月 12 日发布系列推文，介绍 transformers serve 新增的 /v1/systemone 端点：无需为决策任务单独训练分类头/奖励头/价值头，250 个 LLM/VLM 可直接变为「无生成的决策模型」。
已确认
- 新玩法依托 transformers serve 的 /v1/systemone 端点，直接用基座模型对一组候选决策打分，不生成文本。
- 设计思路：把 A/B/C 等候选决策转成答案 token，前向传播后停止，只取对应位置的 logits 做 softmax 得到概率分布。Lysandre 给出示例：billing 0.03 / technical 0.94 / sales 等类别可直接读出。
- 该方案天然支持批处理：路由、打分、是/否判断等大量决策可合并到单次前向传播完成；VLM 同样支持，microducks demo 即基于此实现。
- transformers 将标准化支持该决策模型用法，serve 相关文档已上线。
尚未确认
- Lysandre 提醒 LM 本体输出的概率未经校准（如 m4 标题所示），实际用于下游决策时的校准方案未在帖中展开。
为什么重要
- 相比「加头 + 单独训练 + 部署」的传统流程，这一方案让现有开源基座模型零改造即可承担路由、分类、打分等工程决策任务，显著降低部署成本。
- 批处理友好意味着高频决策场景（如请求路由）可在单次前向中批量完成，具备明显推理效率优势。
2026-10-12 ~ 2026-10-12 · 6 条相关
一手来源
- Transformers 新端点:250 个 LLM/VLM 秒变无生成式决策模型 — LysandreJik ·
- 不加分类头也能做决策模型:HF 直接用基座模型 logits — LysandreJik ·
- transformers 将标准化支持决策模型,serve 文档已上线 — LysandreJik ·
- 【源头】Transformers 新端点:250 个 LLM/VLM 秒变无生成式决策模型 — LysandreJik · 2026-10-12
- 【源头】不加分类头也能做决策模型:HF 直接用基座模型 logits — LysandreJik · 2026-10-12
- HF 工程师详解决策模型新玩法:把分类决策变成答案 token — LysandreJik · 2026-10-12
- 用答案 token 做决策:LM 本体输出概率,但未校准 — LysandreJik · 2026-10-12
- logits 决策模型天然支持批处理:路由打分一次前向全搞定 — LysandreJik · 2026-10-12
- 【源头】transformers 将标准化支持决策模型,serve 文档已上线 — LysandreJik · 2026-10-12