Hugging Face 发布 Decision Models 教程：不生成文本直接输出决策分布
ariG23498 · x · 2026-11-10
Hugging Face 团队发文系统介绍「Decision Models」：与传统 LLM 生成文本不同，这类模型直接对给定选项评估并返回概率分布，适合分类、路由等不需要文本生成的任务。
核心内容：
- 问题场景：以客服工单为例——判断该由哪个团队处理、紧急程度、是否退款；用 LLM 生成 JSON 需要完整推理文本，而 decision pipeline 可直接输出结构化决策结果。
- 用法示例：通过 pipeline("decision") 传入状态描述与结构化的 questions(选项 + 判据说明)，模型返回带概率的选项，示例模型为 autotrust/GEV-26B-Decide。
- 生态支持：文章覆盖 transformers 集成、TRL 训练支持、llama.cpp 推理支持(如用 llama CLI 运行 gemma-4-e4b-it 的 GGUF 量化版)。
这是一篇面向工程实践的长文教程，适合需要在生产中做低成本分类/路由决策的开发者。
所属事件:Hugging Face 推 Decision Models 与 AutoModelForDecision 接口(5 条相关)→
「编程与Agent」频道最新
- DSPy 4 预告：作者称将很快揭晓其兴奋点 — lateinteraction · 2026-11-11
- Tomo 复盘：个人 Agent 留存率远低于 iMessage 入口，必须活在消息平台里 — floguo · 2026-11-11
- dottxt 推出 Tool-call 索引：同一开源模型换推理商 tool-call 失败率差 13 倍 — remilouf · 2026-11-11
- AI 补齐 C/C++ 开发短板后，编程语言还重要吗 — tdhopper · 2026-11-11
- 26040 次 agent 运行、耗百亿 token:换模型是否也该换 harness? — stuffyokodraws · 2026-11-11
- 速度拆解:Keenable 每任务 15 秒列最快之列,搜索仅占 2-3 秒 — ArtificialAnlys · 2026-11-11