0.8B 小模型加 2000 标注样本，本地跑赢 Jev 前沿 API

kalyan_kpl · x · 2026-10-20

开发者用 vegaml 做了一场对比实验：在真实银行数据（banking77）上，用 14.3M 参数的决策引擎搭配 0.8B 阅读器，对抗 Jev 的线上 API。零样本时本地模型多数选择弃答而非乱猜；仅用 2000 条标注数据做 fit 和校准（在一块免费 T4 上 15 分钟完成，不做微调、数据不出本机）后，本地模型在路径分类和争议识别两个任务上的准确率与校准误差（ECE）均超过前沿 API：route accuracy 0.853 vs 0.756，ECE 0.029 vs 0.100。作者结论：前沿模型泛化强，但经校准的本地小模型更适应具体业务数据，且数据隐私可控。可通过 pip install vegaml 复现。