Jev 被指「新范式」名不副实：基线对比 BGE+逻辑回归 93.3% 完胜其 83.2%

tiensss · reddit · 2026-09-24

Reddit 用户发文质疑被宣传为「新一类决策模型」的 Jev（System One Models），认为其大部分卖点不过是经典分类器行为加上现代 zero-shot 能力：对受限选项输出概率、不做自回归生成、不会输出无效类别、可在推理时定义标签——这些零样本/NLI 分类器、嵌入模型、cross-encoder 和 reranker 多年前就在做。

作者指出两个问题：一是 Jev 最亮眼的对比对象是 LLM——专用分类器当然比让自回归 LLM 生成答案更快更便宜，这不构成新范式；有意义的对比应是强基线分类器。ICLR 有 BTZSC 基准覆盖 22 个数据集上的数十个零样本分类器，但没见 Jev 在这个体系里被认真测过。

二是已有社区对比结果远没有那么神奇：一个 Banking77 实验中，BGE-small + 逻辑回归拿到 93.3% 准确率（本地约 9ms），而 Jev 只有 83.2%（GitHub: jev-baselines-eval）。作者结论：公开证据只表明「用分类器做分类比 LLM 便宜快」这一已知事实，除非其未公开架构或 RLCD 训练方法确实新颖，否则谈不上新一类 AI——只有认为 AI 始于 LLM 的人才会觉得新鲜。

原文链接 →

「公司和人」频道最新

更多「公司和人」频道 AI 资讯 →