开源决策模型 Drex 发布:跳过文本生成直接输出选项概率
TheTuringPost · x · 2026-11-08
NaceAI 发布开源决策模型家族 Drex(4 个模型),不做自回归文本生成,而是给定问题与选项后直接输出选项的概率分布,避免长链推理在生产环境中的答案不一致、输出解析和延迟成本问题。
架构(4 条路线)
- 三个较小模型(8B DLM、9B v1.5、35B/3B 激活 v2.0)采用指针架构:预训练 LM + 小 head,将选项表示与问题比较;上下文只处理一次并可复用于多个问题,省时省算力。
- 最大的 Drex Max(27B,稠密多模态)对每个问题重新处理上下文,用双向注意力把最多 255 个选项放在一起比较后给出概率,算力更高但精度更好。
训练:在 11 个领域的标注决策数据上先做监督微调,再用 RLAF(混合验证答案与教师模型概率估计的调整反馈强化学习)校准置信度;Max 额外做视觉训练。
结果
- 速度:Drex Max 单次 183ms,对比 GPT-6 Sol 约 2s、Claude Opus 5.5 约 3.5s。
- 精度:Decision Index 0.4.1 公开套件 67.52 vs Jev 1.14.0 的 60.70;Decision Bench v4 上与 d3-turbo、GPT-6 Sol 统计持平,落后 Claude Opus 5.5 约 1.6 分。
- 稳定性:RLAF 提升约 2 分,一致性训练把选项重排导致的答案翻转从 6.3% 降到 4.2%。
论文与代码均已开源。
所属事件:Nace AI 开源决策模型 Drex:单次前向直出选项概率(11 条相关)→
「模型」频道最新
- Pedro Domingos:OpenAI 承认预训练能力自 2022 年来几乎没进步 — pmddomingos · 2026-11-23
- Inkling-2-Mini 单卡本地跑出 KernelBench-Mega 10.04x,超越多家旗舰 — ziqiao_ma · 2026-11-23
- 百度开源 Unlimited-OCR:3B 参数一次读完 100 页 PDF,OmniDocBench 93% — udmrzn · 2026-11-23
- 改词典 10 个词就能「切除」模型拒绝:Vocab Surgery 拒答率归零 — morgymcg · 2026-11-23
- Thinking Machines 发布 Inkling 2 Small:AA 智能指数得分 31 — _Hao_Zhu · 2026-11-23
- 曝 OpenAI 内部 loss ladder:0.68-0.7 区间将现何种能力未知 — tallmetommy · 2026-11-23