2026-10-02
ModernBERT 加决策头,一次前向给出每个选项的校准概率;81 万条决策训练,留出数据集 61.2%,单题最快 1.2 毫秒、比 4B LLM 快近百倍。
软件里塞满小型文本决策:工单该路由给哪个组、要不要升级人工、这条输入是不是提示注入、客户有多不满、表单缺了哪些必填项。现在的两条路各有痛点。给每个任务微调一个分类器,标签要攒、模型要养,N 个任务就是 N 套权重;用 LLM 来判,一道题一次生成,几百毫秒起步,输出的置信度没校准,没法直接接阈值逻辑。WaterSheep 把这类任务统一成四种带类型的决策:是非(noul)、单选(choice)、打分(score)、多选(multi),用一个 149M 参数的编码器模型,一次前向给出每个选项的概率,并把概率校准到可信。
核心是把「问一次、答一个」改成「问一次、所有选项一起打分」:
训练数据两路。第一路把 109 个公开数据集(MMLU、goemotions、RewardBench、提示注入检测等)统一转成决策记录,得到 81 万训练、2.5 万验证、2.5 万测试,外加 1.4 万条来自训练时不可见数据集的留出题。第二路用 Qwen3.5-4B 合成:57 个任务族、40 个行业、12 种文风、3 档难度,生成后由同一个模型盲判复核,选项乱序多次平均以消位置偏置,多选题逐项问 yes/no,教师答案与目标不一致就丢弃。4.8 万条合成留下 3.0 万,通过率 62.5%,另有三成因教师不同意被弃。
| 设置 | 准确率 | ECE |
| 同分布测试集(2.5 万题) | 77.8% | 0.026 |
| 留出数据集(1.4 万题,训练不可见) | 61.2% | 0.043 |
| 16 个外部 benchmark 均值 | 80.2%(多数类基线 51.8%) | 0.109 |
与 LLM 的对照只做了两项(教师 Qwen3.5-4B,同机同卡)。提示注入检测 WaterSheep 91.4% 对 64.7%,ECE 0.079 对 0.258;XSTest 安全判题 73.6% 对 88.4%,这一项 4B 模型反超。速度差距更稳定:单题 1.25.2 毫秒对 202450 毫秒,快 86171 倍,因为选项再多也只花一次编码,没有生成环节。
弱项同样清楚。goemotions 的 27 类情绪只有 22.4%;LegalBench 里 Abercrombie 术语分类 21.1%、隐私政策问答 58.9%。细粒度情绪与法律推理,149M 的编码器扛不动。
agent 管线里的高频决策点(路由、闸门、安全检查、降级判断)要的是便宜、快、带可信置信度,不是最强推理。这些位置用 LLM 判是浪费,养一堆专用分类器是维护负担。WaterSheep 给出中间层:一套权重管全部题型,概率直接接阈值逻辑,ONNX 量化后能进浏览器(附带免安装的 JS 运行时),Apache 2.0 全开放。单作者在一张消费级显卡上完成训练,2026-09-28 当天训练当天导出,全流程脚本化可复跑。这件事本身就是「小模型接住决策长尾」路线的一个可复用样板。
作者自列:仅英文;输入超 512 token 截断;打分题弱于其他题型;校准只在近似训练分布的数据上成立;不可单独用于医疗、法律、金融、招聘等高风险决策。读下来的额外疑点:留出集掉 16.6 个百分点,真实业务分布上还剩多少没有验证;合成数据的生成者、复核者、对照基线是同一个 Qwen3.5-4B,数据天然偏向 4B 能做对的题,存在自我强化;没有与 SetFit、NLI 式零样本分类这类更近的经典对手对照;论文是 ResearchGate 未经评审的单作者 preprint,本篇解读基于作者发布的模型卡、完整代码与结果数据写成,preprint 正文因 ResearchGate 反爬未能取回。发布数日,HF 下载 28 次,成熟度还早。