Chinese-Jev: Bringing System One Model to Chinese-Language Tasks
Zexiao Wang, Zihao Zhang, Xudong Wang, Pan Wang, Ziyi Ye, Haoyu Zhao, Zuxuan Wu, Shuicheng Yan
cs.CL, cs.CV
2026-09-29
Chinese-Jev将中文决策压到14ms：通用集69.20%超Jev 1.24%，医学微调后87.65%。
很多应用要的不是一段生成文字，是有界输出：请求派到哪个服务、材料相不相关、几个选项里选哪个。LLM 用指令能覆盖这些任务，但每次决策都跑大模型，延迟和费用都不划算。
Jev 把需求收成三种决策：choice 在候选里选一个，noul 判断命题是否成立，score 打有序分，并给出概率。闭源 Jev 和 Open-Jev、Laya、SemIF 已经能跑，中文准确率却上不去。中文标注又对不齐：分类标签、是否判断、有序评分、多选题，没法共用一套训练目标。缺的是接口统一、推理便宜的中文 System One 模型。这个词在这里指快决策、不写开放文本，对照会逐步生成答案的 LLM。
异构标注先收成同一套监督，再用轻量 encoder 打分。
每条样本压成上下文、指令、决策类型、候选列表和目标概率。单选题和类别标签走 choice，概率 1 打在标注答案上；是否题走 noul 的 false/true；离散评分走 score 的 one-hot，连续分（如 USTS 的 19 人打分）在相邻整数档之间摊软标签；多选题拆成「该选项是否该选」的 option-wise noul。去重用规范化指纹，choice 候选排序后再哈希。同一原文衍生的决策进同一 partition，减少泄漏。
通用语料 1000 万条，八类按预测目标划分，三种决策类型大致 1:1:1，语义匹配占 24.07%，评论评分占 19.44%。另有 10700 条规则型检查。医学微调 300 万条，法律和金融各 2.4 万。CJ-Bench 共 307900 条 held-out：通用 10 万、医学 20 万、法律 4300、金融 3600。
复旦、NUS 与国科大从 Laya Multilingual 初始化。backbone 是 mmBERT-base（22 层，hidden 768），上头两层 decision Transformer 加共享 MLP，约 3.22 亿参数。类型、指令、全部候选和上下文串成一条，每个候选前放 marker，一次前向打完分。选 encoder-only 是因为候选可以一次打完，不必自回归解码。类型嵌入加在每个位置上，同一套参数服务 choice、noul、score。choice 取 argmax，noul 读真值概率，score 读期望档位。损失是交叉熵加 RLCD：对 logits 加高斯扰动，按与目标分布的吻合做 policy-gradient，有序任务再加 ranked probability score。8 张 H200 全参微调，通用集 1 个 epoch，专科各 4 个 epoch，每条采 4 次扰动。
通用集上，中文继续训完，准确率从 Laya 的 40.22% 到 69.20%，ECE 从 23.04% 到 3.78%，延迟仍是 14 ms。相对闭源 Jev 的 68.35% 高 0.85 个百分点，相对提升 1.24%；ECE 从 11.45% 降到 3.78%，降幅 67.0%。Qwen3.5-2B 是 32.95%、280 ms。对 Jev API 的 20.3× 含网络往返。
| 方法 | ACC (%) | ECE (%) | 延迟 (ms) |
| Qwen3.5-2B | 32.95 | 43.68 | 280 |
| Open-Jev | 52.33 | 10.54 | 60 |
| Laya Multilingual | 40.22 | 23.04 | 14 |
| Jev（含网络） | 68.35 | 11.45 | 284 |
| Chinese-Jev General | 69.20 | 3.78 | 14 |
专科后，医学、法律、金融相对通用模型分别加 47.88、21.34、29.33 个百分点，平均从 37.97% 到 70.82%。医学 87.65%，比 Jev 的 84.29% 高 3.36 个百分点（相对 4.0%）。法律 60.10%、金融 64.72%，仍低于 Jev 的 68.35% 和 78.39%。三个专科平均准确率是 Jev 的 92.0%，中位延迟 15 ms，相对 Jev API 约 17×，相对 Qwen3.5-2B 约 17.5-29.2×。
校准没有跟着准确率走。医学 ECE 从 17.33% 到 7.25%，金融从 14.43% 到 11.55%，法律从 15.37% 升到 17.45%。专科平均 ECE 12.08%，高于 Jev 的 5.57%。医学上 Open-Jev 的 ECE 最低，为 2.88%。金融上，只做通用预训练的 Chinese-Jev 低于初始化的 Laya（35.39% 对 38.31%）。
iPhone 15 Pro（iOS 26.7）浏览器里跑 INT8，本地约 1 秒一次决策。
路由、相关性、工具选择、问卷打分这类「有候选、要概率」的中文决策，不一定要调生成式 LLM。322M encoder、14-15 ms、能量化到手机，接口和 Jev 三种类型对齐。
通用集只赢 0.85 个百分点，法律和金融仍有缺口，专科化之后校准还不稳定。医学能超过 Jev，微调数据到了 300 万；法律金融只有 2.4 万。backbone 和 RLCD 都来自 Laya，增量主要在中文数据和专科微调。
适合做低延迟中文决策头、又不想把原文送到云端 API 的团队。拿它做法律或金融终审，现在还不够。
论文自己点了法律、金融的准确率缺口，以及专科化后校准收益不均匀。
Jev 延迟含 API 网络往返，20.3× 和 17× 是端到端响应，不是同卡前向速度；和 Laya 比，延迟本来就是 14-15 ms。法律、金融训练集比医学小两个数量级，CJ-Bench 也不均衡（医学 20 万对法律 4300），跨域平均会被医学带着走。评测没在目标集上做额外校准，却把 ECE 当核心指标。ACC 和 ECE 排除了软标签样本。
这更接近 Laya 的中文数据加专科微调，没有消融 RLCD 或 decision Transformer，也没有换成同等大小的中文 encoder 再比一次。多选题拆成逐选项 noul，选项间联合约束看不到。移动端 1 秒是浏览器 CPU，和 GPU 上 15 ms 不是同一量级，INT8 准确率掉点也没报。