Releasing the Inner Jev: A Simple Recipe for Open Decision Models
Jonathan Geuter, Andrew Cheng, David Alvarez-Melis
cs.AI
2026-10-13
Gemma 4 31B 不做额外训练,把选项标成字母后从末 token 的 logit 一次读出全部选项概率,在自建的 2352 题 OpenDecisions 上 Capability 为 79.6,比 Jev 的 80.1 低 0.5,再用约五个 GPU 小时的 LoRA 升至 84.4。
客服分单、政策核对、给 agent 选工具,都是在固定选项里挑一项,并给出概率。逐 token 生成再解析,延迟花在用不上的正文上。Jev 把这件事收成一次前向:输入是带类型的 state、问题和选项,输出概率,中间不生成文本。这类模型被称作 System One。TypeSafe 的说法是专用架构、并行采样,训练方法叫 RLCD,即为校准而做的强化学习。权重和配方不公开。
JevBench 上已有多类开源复现。有的不训练,直接读字母 logit;有的打乱选项顺序再平均,或每个选项单独打分;也有 LoRA 和全参微调。要量的是专用架构和强化学习能多拿出多少分。
题目写成 JSON,字段是证据、问题和标成 A、B、C 的选项,套上该模型的聊天模板,关掉 thinking。只跑一次前向,取最后位置、最终归一化之后的隐藏状态 h,抽出语言模型头里字母 A 到 P 的行,最多 16 项,对这 K 个 logit 做 softmax。Gemma 保留原有 soft-cap,先算 30·tanh(x/30)。是否题是两个选项,打分题是有序档位。同一款 Gemma 4 31B 若改读数字编号,零样本 Capability 为 80.5,字母为 79.6;编号要逐位前向,所以配方留在字母上。
概率偏自信,用温度缩放处理。每个题型拟合一个温度,在训练分布划出的 3884 题上最小化负对数似然,OpenDecisions 不参与。Gemma 4 31B 的选择温度是 6.0,是否题是 7.2。训过的 Qwen 若温度低于 1,分布变尖、分数下降,因此温度下限设为 1。
决策头长在冻住的字母行上。校正是 z = W₀h + A·标准化(h) + b,A 和 b 从 0 开始;h 的均值和标准差开训前算一次,之后固定。全部 attention 和 MLP 投影加 rank-32 LoRA,α=64,无 dropout,Qwen 的线性注意力投影也加。损失是交叉熵:有软标签就拟合该分布,否则拟合正确选项,训练时打乱选项顺序。不用强化学习。
AdamW 下 LoRA 学习率为 2×10⁻⁵,决策头为 10⁻⁴。前 250 步升温,保持到第 300 步,之后降到 0,第 400 步结束。每步 65536 个填充 token,约 190 题;全程约 7.6 万题,占 417825 题池的 18%。Gemma 4 31B 在 4 张 H200 上训 78 分钟,约 5 个 GPU 时。LoRA 并回权重后,推理仍是一次前向。
题池里 300042 题来自 decider 的公开混合,覆盖 79 个任务。Civil Comments、Measuring Hate Speech、STS-B、ChaosNLI 提供人类投票软标签。另有约 5 万题由 Qwen3.5-122B-A10B 和 Qwen3.6-27B 当老师,软标签共 117783 条。同一学习率搬到 Qwen3.5-4B 上没有增益,于是把 LoRA 学习率提到 10⁻⁴,目标改成数据标签和训好的 31B 软预测各半,一半题换成评测格式。
OpenDecisions 有 2352 题、11 类,配比对齐 JevBench v1.6:选择 1178、是否 586、打分 588,四档难度,23 种语言,英语占 78%。599 题由代码打标;1443 题由 Claude 撰写,经 Qwen3.8-27B、gpt-oss-120b、GLM-4.7-Flash 盲答,三票一致或两票且平均概率至少 0.5 才留;310 道真实请求必须三模型一致。与训练池重合的 43 题已删。Capability = (I+C)/2。I 是扣掉猜中率的准确率,题型等权,难度权重从易到难为 0.1、0.2、0.3、0.4。C 把校准收成百分制,ECE 是分桶后信心和命中率之差,打分题再加排序概率分 RPS。14 个公开系统在这套题上的排序与 JevBench 的 Spearman 相关为 0.90;其中 4 个没参与造题,用余下 10 个拟合,预测榜上分数的误差为 3.0。
加上温度后,Gemma 4 31B 零样本 Capability 为 79.6(I 71.9,C 87.4),Qwen3.6-27B 为 79.0,Jev 1.13.0 为 80.1。不缩放时 31B 只有 72.9。31B 把 99.99% 的下一 token 概率放在合法字母上,四款骨干平均都超过 99.4%。12B 和 4B 零样本为 75.4、63.6。基座用补全提示只有 64.0,同一提示下的指令模型为 78.9。
400 步后,31B 三种子平均 84.4,比零样本高 4.8±2.0,比 Jev 高 4.3±2.5,C 为 92.3,是表中最高。Eikos-27B 为 83.1,差值 1.3±2.0,区间含 0。Quyet-1.0-Large 的 I 为 76.7,略高于 76.4,C 只有 86.9,Capability 81.8。公开系统报的是原始输出和同一校准集重标定里较高的分数。
| 系统 | I | C | Capability |
| 31B 零样本 | 71.9 | 87.4 | 79.6 |
| Jeff-1.0-Large | 76.4 | 92.3 | 84.4 |
| 27B 零样本 / 微调 | 67.5 / 72.6 | 90.5 / 89.9 | 79.0 / 81.2 |
| 12B 零样本 / 微调 | 64.0 / 65.5 | 86.8 / 84.6 | 75.4 / 75.0 |
| 4B 零样本 / 改配方 | 46.1 / 52.8 | 81.2 / 80.4 | 63.6 / 66.6 |
| Eikos-27B | 75.7 | 90.5 | 83.1 |
| Jev 1.13.0 | 71.9 | 88.3 | 80.1 |
同一配方下 27B 高 2.2±2.2,12B 为 −0.4±1.8。4B 原配方是 63.0,低于零样本;三处改动后为 66.6。较小模型的 I 上升、C 下降。
JevBench v1.7 抽了 1500 题,各系统题目不同。Jeff-1.0-Large 为 81.5,比 Jev 的 77.1 高 4.4,Quyet-1.0-Large 为 81.7,0.2 分在噪声里,榜上排第二。231 题的公开子集上,微调 31B 准确率 92.1%,Jev 为 86.6%;零样本已有 91.8%,deck31b 为 93.1%。这个子集上 Capability 的标准差约 3 分。
七个未入训练的决策集共 9212 题。宏平均准确率:微调 27B 为 89.4,微调 31B 为 89.0,Jev 为 88.0。decider 留出的 7800 题上,31B 比 Jev 高 2.2±0.7。六套硬标签的平均 ECE,Jeff 为 0.047,Jev 为 0.066。六项知识选择的宏平均反过来:Jev 92.9,微调 31B 88.8,差 4.0±0.8,主要在 MMLU-Pro、MMLU 和 WinoGrande。
只训决策头得到 78.9,低于校准后的零样本 79.6。只训 LoRA、头锁在最初的字母行,单次得到 84.9,相对联合训练的三种子均值 84.4,差 +0.6±2.1。去掉教师标签为 82.5(−1.9±2.2)。3000 步时 31B 为 83.3,掉的主要是校准。没做过指令微调的基座,跑完同一配方只有 70.3。
84.9 没有稳定超过联合训练,多出的半分盖在误差里。分开的是训骨干和只训头。
要部署的是读入一段状态、返回一个校准过的分布。30B 档指令模型读字母就能做,温度是对齐 Jev 的条件:6.0 和 7.2 把 31B 从 72.9 抬到 79.6。
再往上走,大约 5 个 GPU 时的监督 LoRA 就够,合并之后仍是一次前向。放出的检查点是 Jeff-1.0-Large(31B 的 seed 1)、Jeff-1.0-Qwen-27B、Jeff-1.0-Medium 和 Jeff-1.0-Qwen-4B。12B 的 Capability 没有涨,4B 要改学习率、目标和一半格式才多大约 3 分。知识题上这套模型仍落后 Jev 约 4 分;公开决策集上的准确率优势大约 1 个点,微调后的 27B 宏平均还高于 31B。
84.4 来自参与过选配方的 OpenDecisions。七个公开集上,31B 的宏平均准确率只从 88.4 涨到 89.0。相对 Eikos 的 1.3±2.0 把 0 包在里面,OpenDecisions 上的新纪录在这个区间里站不稳。相对 Jev 的 4.3±2.5 大约从 1.8 到 6.8,离开 0。
官方榜上那 4.4 分还经过一道计分手续。是否题里严格介于 0.2 和 0.8 之间的 P(yes) 被记成弃权,弃权算错。提交时这些概率被推到 0.801 或 0.199。首选答案不变,按弃权规则计的分会变。和 Quyet 差 0.2,又是各抽各的 1500 题,榜上排第二。
1443 道撰写题要过包含 Qwen3.8-27B 的三人评审,310 道真实请求必须三人全同意才入库,留下的是模型已经答得拢的题。教师标签有一部分来自 Qwen3.6-27B,而这款模型自己也在被微调。温度拟合自训练分布,论文写明不一定迁到 OpenDecisions。决策头冻住时,预期效用损失比交叉熵的准确率高 0.9±0.9 个百分点;配上 LoRA 之后,结果仍落在原配方三个种子的范围里。