Baseten 开源 9B 决策模型 elephant-1,成本仅竞品四分之一
Balance- · reddit · 2026-10-24
Baseten Base Labs 开源了 elephant-1（9B，MIT 协议，基于 Qwen3.5-9B 后训练），一个不生成文本、只输出概率的「决策模型」：给它一个状态（工单、文档、待筛选 prompt）和一组是非/多选/打分问题，它直接从选项字母的 logits 读出每个选项的概率。所有问题共享一次状态 prefill，每增加一个问题只多一次短后缀前向。
评测与成本
- Artificial Analysis 独立评测：Decision Index 65 分，与 d1-ultra 持平，但成本约 $8/百万任务 vs d1-ultra 的约 $31；Jev Decision Index 0.4 得 62.65，为 15B 以下最佳、208 个模型并列第 8；其 27B 兄弟模型 mammoth-1 以 71.24 排名第一。
- When2Call 95、WildGuardTest 93；Omniscience 上非幻觉率 93 但准确率仅 12——刻意训练出大量「我不知道」，不适合冷门事实回忆，甜点区是路由、护栏、工具调用门控和高并发 LLM-as-judge。
架构与训练
- 全注意力层的因果掩码换成块级双向，问题块可看到全部选项，前缀缓存可跨问题复用；报告称同数据下 48.6 vs 44.8。
- 训练集 621 万条：58% 核心决策技能、16% 安全与弃权、16% 评判与专家领域、10% 公开数据集转换；合成数据经 5 评委标注面板（4/5 一致）、去污染与 agent 审查；数据扩 16 倍把 Jev 分从 45.5 提到 66.0，审计修复 253 个来源再补约 8 分。
- 损失为交叉熵 + Brier 项，含训练出的「我不知道」选项，128 块 H100 跑 1 epoch。单张 CUDA GPU 可自部署，上下文 16k。API 免费开放至 10 月 27 日（零数据保留）。
所属事件:Baseten 开源决策模型 mammoth-1 与 elephant-1(7 条相关)→
「编程与Agent」频道最新
- Linus Torvalds 用 LLM 读懂晦涩内核代码,顺手揪出潜伏 13 年的 4 个 bug — hey_abusiddik · 2026-10-24
- Linus 用 LLM 查 Linux 内核，揪出自 2013 年潜伏的 4 个 bug — hey_abusiddik · 2026-10-24
- Hnshah 自曝沉迷 Grok Bot:80 天建 81 个 Bot、提交 1.8 万次 — elonmusk · 2026-10-24
- LangChain 创始人：把 Skills 当作记忆与大脑，而非静态文件 — hwchase17 · 2026-10-24
- AWS 工程师 AGNTCon 演讲：用 Rust 在编译期拦截 Agent 代码错误 — ShadajL · 2026-10-24
- HuggingChat 上线 ML Intern：智能体帮你探索和迭代数据集 — Gradio · 2026-10-24