Baseten 详解 joey-1:决策模型用单 token 直出答案，便宜 10 倍
baseten · x · 2026-10-30
Baseten 官方博客详细介绍其第三个开源决策模型 joey-1(2B)。核心观点是：很多 LLM 用例不需要生成文本，只需要「决策」——工单路由、消息是否标记、请求是否批准。
传统 LLM 靠生成文本回答这些问题，每次调用都带来成本与延迟，链式决策中开销还会复利式累积；决策模型则直接返回单个 token 加校准概率，大幅压缩成本与延迟。joey-1 在约 2000 token 的典型请求上 P50 端到端延迟 20 毫秒，比 elephant-1(49ms)快约 2.5 倍；$0.01/百万 token 的价格是 mammoth-1 的十分之一。至此 Base Labs 决策模型家族覆盖 27B/9B/2B 三档，均支持文本与图像输入。官方称内部测试中 joey-1 是 3B 以下参数的最强决策模型。
所属事件:Baseten 开源 2B 决策模型 joey-1：20ms 延迟、每百万 token 一美分(5 条相关)→
「Infra」频道最新
- 分析师看衰 Intel 预测:PC 市场要到 2027 下半年也难回暖 — BenBajarin · 2026-10-30
- Epoch AI:全球 AI 算力增速放缓至每年 2.5 倍,约 9 个月翻一番 — Jsevillamol · 2026-10-30
- Cerebras 工程拆解:万亿参数模型如何塞进晶圆级芯片集群 — ceciletamura · 2026-10-30
- Crusoe 以 310 亿美元估值融资：从油田烧气挖矿到 AI 数据中心 — nathanbenaich · 2026-10-30
- AWS 年化营收达 1840 亿美元,同比增长 39.3% — RihardJarc · 2026-10-30
- 美国数据中心与计算机投资超住房建设 50%，成第一大投资类别 — HaydnBelfield · 2026-10-30