Drex Max公开榜67.52,单次决策只要183毫秒

Towards Foundation Decision Models: Drex

Nischay Dhankhar, Alisher Amantay, Zhanibek Datbayev, Darkhan Akhmetov, Yash Shah, Nurmukhamed Ubaidullayev, Raman Saparkhan, Dos Baha, Abulhair Saparov

cs.CL

2026-11-05

四款开源决策模型 Drex 里,Max 公开榜 67.52 分、比 Jev 高 6.8,单次只要 183 毫秒。

这篇在解决什么

分类、打分和路由不必生成文本。长思维链要解析输出,延迟跟着解码走,同一道题换种说法,结论还可能变。分类头把标签焊在训练阶段;逐个选项打分再归一化,选项一多,前向就得多跑。

决策模型把选项留给调用方。请求含状态(文档、记录或 agent 上下文,可带图)和若干问题,一次前向返回概率,不解码。接口沿用 Jev 的 System One,指针模型建在开源 Kev 上。Drex 有四款:扩散语言模型 DLM(8B)、v1.5(9B)、v2.0(35B 总参、3B 激活)、Max(27B,从 Qwen3.8-27B 训起)。

方法

三种题都返回分布。choice 最多 255 个命名选项;noul 是 yes/no,返回 p(yes);score 把整数档当选项,并给出期望档。置信度沿用 System One,看最高概率比均匀猜测高出多少。概率只落在给定选项上,各题互不影响,这是结构保证。顺序、校准和看图要靠训练。

指针模型(DLM、v1.5、v2.0)把状态编码一次并缓存。每题是互不可见的因果块,所以单题、合批、缓存重放得到同一分布。query 在 <decide>,key 在每个选项结尾 </opt>,缩放点积后 softmax。头约 210 万(v1.5)或 100 万(v2.0)参数。v2.0 骨干是 Qwen3.6-35B-A3B。v1.5 与 v2.0 混有 Gated DeltaNet,也就是循环式线性注意力,不能随意加掩码。DLM 在状态内部做双向注意力。

Max 用读出头,图案跟随 pplx-decider。64 层里 48 层仍从左到右,每四层的全注意力去掉因果掩码,前文能看见选项。每题单独成序列,选项前是单 token 代号,答案从 <ans> 经无偏置线性层读出,温度 1.009,不改最可能项。状态依赖问题,不能跨题缓存。上线时单次中位延迟,Max 183 毫秒,v2.0 151 毫秒,v1.5 145 毫秒。文档长、问题多,指针模型更省。代号和正文的绑定一换位就变,顺序稳健全靠训练。

监督损失是交叉熵。打分题加平方 Cramér 距离,惩罚累积分布偏离正确档。两项一致性损失惩罚选项置换,以及状态里句子或字段被打乱。选项不少于 3 个就洗牌,并随机插入 NONE。RLAF 不用 one-hot,免得把不确定的题训成过度自信。指针模型用金标、程序执行或游戏引擎校正教师分布,再对对数、球面和 Cramér 三项求导。Max 的奖励是验证命中加裁判对数概率,再用 KL 拉回监督检查点,ρ=0.2、η=0.05。裁判是同一个 27B 的生成式、开了高推理,预期不会比 Max 更准。v1.5 的文本集 1,150,460 条。Decision Index 与 JevBench 的评测题排除,公开基准的训练划分仍在;改写题和教师污染滤不掉。裁判盖过金标的次数没有测。

结果

Decision Index 0.4.1 用机会校正技能分,0 是均匀乱猜,100 是全对。2026-10-22 公开榜:Max 67.52,v2.0 61.25,v1.5 58.08,Jev 1.14.0 60.70,GPT-6 Luna Decisions 47.78。含私有测试的满分,Max 66.60,只低 0.9;v2.0 52.76,低 8.5;v1.5 45.78,低 12.3。新领域上 Max 56.45,v2.0 39.22。满分比 Jev 的 60.24 高 6.4。约 23 万道选择题上,Max 比 v2.0 高 1.86 个百分点。GSM8K 从 66.8 到 83.2;长选项的 POP909-CL 从 79.5 降到 55.6。各约 100 条的样本上,HLE 为 Max 21%、GPT-6 Sol 39%、Claude Opus 5.5 56%,GPQA Diamond 为 55%、90%、89%。

Decision Bench v4 共 1,071 题。

模型准确率纯图中位耗时
Drex Max(图像)94.0%98.3%0.66 秒
Drex Max(文字转写)92.1%63.3%0.66 秒
d3-turbo93.7%98.3%0.72 秒
GPT-6 Sol94.7%100%2.05 秒
Claude Opus 5.595.6%100%4.33 秒
Jev 1.1492.3%66.7%0.51 秒
Drex v2.087.9%68.3%0.38 秒

Max 的 94.0% 区间是 [92.4, 95.3],与 d3-turbo、GPT-6 Sol 统计上打平,低于 Claude 1.6 分。Bench 上 ECE 1.40%,d3-turbo 为 1.18%。相对 Jev 的配对检验 p=0.048,纯文本上打平,差距来自图像题。设计类从转写的 26.7% 升到 96.7%。

另一套约 11.5 万题的校准里,Max 准确率 87.9%、平均置信 91.2%、ECE 3.61%,温度改到 1.35 后 ECE 降到 1.35%。v2.0 的 ECE 为 1.37%,是这组最低的。最自信的 50% 上 Max 到 99.3%。Language 占 56% 的题,ECE 只有 0.5%,把总误差拉低;6 到 20 个选项时 Max 的 ECE 为 8.4%(准确率 71.7%),v2.0 为 2.0%。

1,591 题上,随机置换的 top-1 翻转率 Max 与 Jev 都是 4.3%,v2.0 为 5.9%。二元题 Max 只翻 1.0%;六个及以上选项各模型 13%–16%,这类题 173 道。按顺序不稳定弃权,和按同样数量的低置信弃权,留下的准确率是 87.2% 对 87.1%。消融里 RLAF 使 Decision Index 提高 2.0 分,一致性损失使翻转率从 6.3% 降到 4.2%。

Artificial Analysis 独立榜(2026-10-29,作者未重跑)给 Max 63.7,前三名决策模型为 65.3、65.0、64.7,没有置信区间。HLE 多选只有 16.0,Claude 为 70.2。对话模型大约贵 44 到 1,100 倍。视觉抽取上 InfographicVQA 98.8%,多步看图的 MMMU-Pro 53.6%。对 GPT-6 Luna Decisions,11 个视觉基准的归一化分是 77.1 对 63.9。

有标准答案的业务决策上,Max 贴着 Claude。知识题和多步看图仍然明显更低。

为什么重要

路由、审核、从候选里挑一个,省掉的是生成。选项每次传入,3 个和 150 个共用一个头,概率可以直接当审计记录,低置信交给人。Max 最自信的一半到 99.3%。上线单次中位 183 毫秒,对照 GPT-6 Sol 约 2.0 秒、Claude Opus 5.5 约 3.5 秒。长文档多题用 v2.0 或 v1.5,看图或要更高准确率用 Max。

相对 Jev,公开榜和满分都领先。相对 Claude 和 Sol,Decision Bench 差在 1.6 分以内,HLE 和 GPQA 不在同一水平。指针和读出继承 Kev 与 pplx-decider,新加的是 RLAF、一致性损失和视觉阶段。许可证分开:Max、v2.0、v1.5 为 Nace.AI Open RAIL-M,DLM 为 CC BY-NC 4.0,不能商用,代码为 Apache-2.0。

局限与存疑

发布温度 1.009 拟合自训练分布的留出集。换到 Decision Index 要 1.35,分领域的过度自信还在。一个全局温度修不好方向相反的偏差:GPT-6 Luna Decisions 重拟合后,NLL 从 0.760 降到 0.679,ECE 从 4.87% 升到 6.57%。拿概率过阈值的窄场景,该用该类标注重拟合。

裁判可以压过金标。ρ 只有 0.2,裁判把足够概率放在错项上时,最优策略会跟着错。这可能磨尖分布,也可能学进裁判偏差,两件事都没验证。训练记录多数蒸馏自更强教师,改写题滤不掉。除 Max 那组消融,对比是关联,双向注意力、读出头、数据和 RLAF 各贡献多少没有拆开。检验未做多重比较校正,0.048 和 0.046 只算提示。带 DeltaNet 的骨干没测选项隔离掩码。私有新领域上,指针模型掉分远大于 Max,原因没有拆开。同一套 Max 权重若走原来的因果掩码,得不到训练时的分数。

术语

原文与代码

社区讨论

相关论文

全部论文解读