自建防背诵基准实测：微型分类模型 Jev 达 Sonnet 水平、便宜约 150 倍
vesko_st · x · 2026-09-22
开发者 veskost 实测 TypeSafe AI 的小型分类模型 Jev，结论是其在分类任务上接近 Claude Sonnet 水平，而运行成本低几个数量级。
- 通用文本理解：在三个常用阅读理解与常识基准上，Jev 表现与 Opus 相当；CommonsenseQA 和 MMLU-CF 拿下第一，RACE-H 上与 Opus 打平；长上下文问题上比 Opus 便宜约 150 倍、快约 10 倍。
- 防背诵测试：作者担心基准可能已在训练数据中，于是基于一篇随机维基百科文章手工构造新基准（所有干扰项来自原文），Jev 仍与 Sonnet、Opus 同档。
- 客服/谈判任务：用较旧的客服与谈判数据集测试，Jev 略好于 Claude Haiku、略低于 Sonnet 5；作者强调这些不代表真实 B2B 销售，结论仅供参考。
作者认为这类小型廉价分类模型有真实落地价值，并计划用于自家产品 lightfld。
所属事件:微型分类模型Jev实测媲美Claude成本仅约一百五十分之一(2 条相关)→
「模型」频道最新
- Claude Fable 5.2 登顶 Code4Scene,还钻了碰撞检测器的空子 — ZhitingHu · 2026-11-12
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12