Baseten 开源 2B 决策模型 joey-1：20ms 延迟、每百万 token 一美分
Baseten 旗下 Base Labs 于 10 月 30 日开源第三款「决策模型」joey-1（2B 参数），主打极低延迟与成本：官方称约 2000 token 请求的 P50 端到端延迟为 20 毫秒，比前代 elephant-1 快 2.5 倍，价格为每百万 token $0.01，约为传统做法的十分之一。这是该团队继 mammoth-1（27B）与 elephant-1（9B）之后的第三款开源决策模型。
已确认
- 定位「系统一决策」：给定结构化上下文与问题，单次前向传播直接返回单 token 答案及校准概率分数，无需生成自由文本再解析
- 适用场景包括请求路由、工单分派/转派、消息是否标记、请求是否批准等分类或 yes/no 判断类任务
- 性能与价格：P50 端到端延迟 20 毫秒（约 2000 token 请求），$0.01 每百万 token
- 官方博客阐述了「决策模型」品类逻辑：许多 LLM 用例需要的不是生成文本而是决策，传统做法靠生成文本回答，每次调用都叠加成本与延迟
为什么重要
- 决策模型把「生成再解析」的流程压缩为单 token 直出，在大规模高频调用场景（如路由、审核、分类）中可显著降低成本与延迟，是 LLM 应用范式的一个差异化分支
- 三款不同规模（27B/9B/2B）模型的连续开源，显示 Base Labs 正在把「决策模型」作为独立品类系统性布局
2026-10-30 ~ 2026-10-30 · 5 条相关
一手来源
- Base Labs 发布 2B 决策模型 joey-1,延迟 20 毫秒成本一美分 — baseten ·
- Baseten 开源 2B 决策模型 joey-1:单次前向输出校准概率 — baseten ·
- joey-1 决策模型:20ms 延迟、每百万 tokens 仅一分钱 — baseten ·
- 【源头】Baseten 开源 2B 决策模型 joey-1:单次前向输出校准概率 — baseten · 2026-10-30
- 【源头】joey-1 决策模型:20ms 延迟、每百万 tokens 仅一分钱 — baseten · 2026-10-30