Jev 实测：固定标签分类任务准确率持平现有模型，成本低约百倍
ivan_bezdomny · x · 2026-09-19
开发者 drewdil 用一天时间把 Typesafe AI 的 Jev 与自家生产环境的判别模型做了基准对比，结论是在「从固定列表选标签」这类任务上，Jev 能以极低成本打平甚至超过现有模型。
实测数据：
- 销售通话转写分类（32 类固定标签）：合成集含 20 个对抗样例，Jev 35/36 正确，现有小模型分类器为 34/36；三次重复运行零标签漂移，单次调用成本约低 100 倍。
- 知识图谱节点关系打标（固定词表）：在 47 例金标语料上通过全部四个硬性质量门（仅比生产模型差一例），成本约低 65 倍、延迟约低 15 倍。
- Slack 频道四分类：留存集 16/16 全对。
适用形状总结：标签列表由你定义、证据就在输入里的分类任务——Jev 擅长；需要推理或递归式生成的工作则不是它的强项。
所属事件:Jev 补上通用分类器空缺，成本低约百倍(2 条相关)→
「模型」频道最新
- 爆料:Anthropic Fable 5.5 难产,正赌 OpenAI Astra 6.2 不敌自己 — haider1 · 2026-11-04
- 网友催更 Kimi K3.1:问月之暗面模型权重何时放出 — bgmshana · 2026-11-04
- Muse Spark Open 许可证藏着坑：蒸馏产物也算衍生模型 — aidenclarke_12 · 2026-11-04
- 腾讯 Hy4 智能体硬测仍逊 GPT-6.1,Kimi K3.1 Pro 两项反超 — heyshrutimishra · 2026-11-04
- 腾讯 Hy4 智能体自训小模型超越官方基线,称迈向递归自我改进 — heyshrutimishra · 2026-11-04
- Hy4 金融实测：579 项真实任务开源第一，幻觉率降至 5.45% — heyshrutimishra · 2026-11-04