joey-1 决策模型:20ms 延迟、每百万 tokens 仅一分钱
baseten · x · 2026-10-30
Baseten 发布 2B 决策模型 joey-1 的博客详解了「决策模型」品类的逻辑：很多 LLM 用例需要的不是生成文本而是决策——工单该转给谁、消息要不要标记、请求批不批准。传统做法靠生成文本，每次调用都叠加成本和延迟；决策模型直接输出单个 token 加校准概率，大幅降低两者。
关键数据：
- P50 端到端延迟 20ms（2000-token 请求），比 elephant-1（49ms）快约 2.5 倍，快 5 倍于同类决策模型
- 定价 $0.01/百万 tokens，是 mammoth-1 的十分之一
- 内部测试中为 3B 以下参数最强决策模型，发布时位列 Jev Decision Index 0.4 同尺寸第一
至此 Base Labs 决策模型家族覆盖 mammoth-1（27B）、elephant-1（9B）、joey-1（2B）三个尺寸，均支持文本和图像输入。
所属事件:Baseten 开源 2B 决策模型 joey-1(3 条相关)→
「Infra」频道最新
- 4090 24GB 跑原生 3K MiniMax 视频:一个 ComfyUI 节点解决显存崩溃 — friedlc · 2026-10-30
- Baseten 携手 Postman：4000 万开发者的企业 Agent 基建组合 — baseten · 2026-10-30
- AI 泡沫信号:数据中心 AI 债务融资开始变难 — Terminator857 · 2026-10-30
- Ollama:全球企业团队正用其将工作流迁移至开源模型 — ollama · 2026-10-30
- Rogers 卫星漫游扩至日澳新，加拿大手机借 Starlink 通全球 — XFreeze · 2026-10-30
- AWS 布道师发现 macOS 更新回滚:已移除的 eMudhra 证书又回到系统信任库 — kingslyj · 2026-10-30