专题 · FULL STORY
Jev 发布:决策模型爆红五日
隐身两年的 TypeSafe 于 9 月 16 日发布不生成文本、只输出结构化决策的模型 Jev 及新训练法 RLCD,宣称快 200 倍、成本低百倍。随后 Vercel 接入、开源复刻涌现、JevBench 基准发布,社区在实测、看好其作 LLM 路由器与质疑声中将其推上风口。
2026-09-16 ~ 2026-09-21 · 19 集 · 283 条
第 1 集 · TypeSafe 结束隐身发布决策模型 Jev 与新训练法 RLCD(2026-09-16,86 条)
9 月 16 日,隐身约两年的新实验室 TypeSafe 结束保密状态,发布首个 System One 模型 Jev 与配套的新训练方法 RLCD。创始人 Diogo Almeida(X 账号 @CompleteSkeptic)自称曾在 OpenAI 参与 ChatGPT 背后的指令遵循研究,多条转发帖以「ChatGPT 联合发明者」称呼他,但这一身份为自我表述,未经独立核实。目前所有性能宣称均为发布方单方面说法,尚无独立评测,部分转发帖中已出现质疑与群嘲。
已确认
- TypeSafe 发布了新模型 Jev 与新训练方法 RLCD。据 @rohanpaulai 介绍,Jev 是该公司首个 System One 模型;多条转发帖转述 Diogo Almeida 是 InstructGPT 论文作者之一。
- Jev 定位不是聊天模型,而是「决策智能」:用自然语言提问(包括模糊、主观的问题),返回 yes/no 或自定义类别的概率,以纯 API 形态提供,不做文本生成。@hardimanjames 转述的典型用例是给客服工单问「这个客户听起来生气吗」,返回 0.9 这样的概率,典型响应约 0.7 秒。@bindureddy 将其概括为一个能在多选项面前做智能决策的分类器,认为这类近乎免费的分类能力对任何 agent 平台都是很好的补充(其「智能水平可比大模型」的说法为发布方口径);她在后续帖中进一步提出,Jev 这类单次前向传播直接输出选项概率的小模型可作为决策器,缓解当前 Agent 架构串行执行(选工具、分支、重试)的痛点,让 Agent 并行推进千步。
- 产品分工思路是让大模型处理难的推理任务,把路由、欺诈检测、内容审核、验证等海量小型决策交给 Jev 这类小模型。技术路线上不做逐 token 自回归生成,而是将非结构化状态并行输出为类型安全的概率决策。@FrankFelixAI 的对比指出,Jev 用并行计算替代串行计算,与当年 Transformer 凭同样思路超越 RNN 的逻辑相似,代价是无法生成文本,推理快、成本低,只适合分类类任务。The AI Daily Brief 的视频解读也持类似看法,认为大量业务任务本质上只需校准的概率判断而非文本生成。
- 据 @Profanion 转述 The Register 报道,厂商宣称 Jev 幻觉率远低于传统大模型,输出成本也便宜得多。
- 发布方宣称的性能:比现有模型快 20-200 倍、便宜 40-400 倍,输出 token 免费,响应低于 500ms,并称不产生幻觉。@heyabusiddik 的转述给出输入定价为每百万 token $0.042。@TheMoonMidas 的转述称比 Opus 便宜 155 倍、快 20 倍;@soumitrashukla9 一则转述则称比 Fable 级判断快 25 倍、便宜 600 倍,并将 Jev 比作工作流中的「智能 if 语句」——各转发数字略有出入,均源自发布方。
- 发布方还展示了 Jev 实时玩《毁灭战士》的演示,以体现其低延迟决策能力(据 @alexcovoeth 转述)。
尚未确认
- 上述速度、成本与「零幻觉」均为发布方单方面宣称,暂无系统性独立评测或基准验证。
- 「ChatGPT 联合发明者」为创始人自我表述,多数转发帖使用「自称」措辞,@bennash 也明确标注未证实、可信度存疑;具体身份认定主要来自转述(InstructGPT 论文作者之一),尚未经独立核实。@mohbibi 的转发中出现质疑声音,怀疑 Jev 实际上只是专用扩散模型;@karmay007 的转述也提到相关宣称遭到群嘲,暂无官方回应或佐证。
为什么重要
- 若宣称的延迟与成本成立,Jev 可能显著降低在自动化流程中嵌入大量判断调用的门槛,直击当前 agent 工作流的成本痛点。@bindureddy 从架构角度提出的「决策器解放 Agent 串行瓶颈」是值得跟踪的应用假想。
- 「结构化概率输出而非生成文本」代表了一条与主流聊天模型不同的产品化路径,值得后续关注第三方评测、创始人身份信息与技术原理的进一步核实。
- ChatGPT 联合发明者发布新模型 Jev:号称快20倍、便宜40倍 — damianplayer · 2026-09-16
- 前 OpenAI 研究员推出 System One 模型 Jev:快百倍、不会幻觉 — rohanpaul_ai · 2026-09-16
- ChatGPT 联合发明人出新作:Jev 模型专做判断,快 20-200 倍、便宜 40-400 倍 — danshipper · 2026-09-16
- 自称 ChatGPT 联合发明者发布模型 Jev:宣称零幻觉、输出 token 免费 — damianplayer · 2026-09-16
- TypeSafe 发布决策模型 Jev:比 Fable 级判断快 25 倍、便宜 600 倍 — soumitrashukla9 · 2026-09-16
- ChatGPT 联合发明者发布新模型 Jev:自称快 20-200 倍、便宜 40-400 倍 — lateinteraction · 2026-09-16
- 自称 ChatGPT 联合发明者发布 Jev 模型:宣称快 20-200 倍、输出 token 免费 — hackgoofer · 2026-09-16
- ChatGPT 联合发明人创办 TypeSafe 推 Jev:不开口说话的决策模型 — SucceededMind · 2026-09-16
- ChatGPT 联合发明人 stealth 两年后发布新模型 Jev:宣称快 20-200 倍、便宜 40-400 倍 — sedielem · 2026-09-16
- 自述 ChatGPT 联合发明者推出 Jev:宣称快 20-200 倍、便宜 40-400 倍 — lateinteraction · 2026-09-16
- ChatGPT 共同发明人出击:新模型 Jev 宣称快 20-200 倍、省 40-400 倍 — danshipper · 2026-09-16
- TypeSafe AI 发布 Jev:不做文本生成,专做带置信度的快速决策 — yogthinks · 2026-09-16
- ChatGPT 联合发明者推出 Jev:自称幻觉率极低的决策型模型 — hardimanjames · 2026-09-16
- ChatGPT 联合发明者发布决策型模型 Jev:最高快 200 倍、便宜 400 倍 — soumitrashukla9 · 2026-09-16
- 自称 ChatGPT 共同发明者创办的 Typesafe 发布新模型 Jev — hardimanjames · 2026-09-16
- stealth 公司发 Jev 模型:称比前沿模型快 20-200 倍、便宜 40-400 倍且输出免费 — hardimanjames · 2026-09-16
- TypeSafe 推出 Jev 模型:0.7 秒把模糊问题变成概率判断,专供 agent 质检 — hardimanjames · 2026-09-16
- 宣称比 LLM 快百倍的新模型 Jev 发布,主打结构化决策输出 — soumitrashukla9 · 2026-09-16
- OpenAI 老兵创办 TypeSafe 出 stealth:4000 万美元种子轮,发新模型 Jev — hardimanjames · 2026-09-16
- ChatGPT 联合发明人创办 TypeSafe,获 4000 万美元种子轮 — hardimanjames · 2026-09-16
第 2 集 · TypeSafe AI 发布专用评估模型 Jev,实测速度与成本优势显著(2026-09-16,8 条)
TypeSafe AI 发布专用评估模型 Jev,并已接入 Vercel AI Gateway。该公司由 LangChain 的 Sydney Runkle 与 Hunt Lovell 参与打造,官方宣称 Jev 在分类任务上相比同级别 LLM 最多提速 200 倍、降低成本 400 倍。多位开发者的独立实测显示,这款模型在结构化判断任务上速度和成本优势显著,质量达到甚至超越了此前使用的旗舰轻量模型,正在引发「用专用小模型替代通用大模型做分类路由」的讨论。
已确认
- 据 @hackgoofer,Jev 定位为「System One」评估模型,面向软件中的快速结构化判断:对共享状态回答带类型的问题,返回选项、分数与布尔概率,支持分类、路由等场景,已接入 Vercel AI Gateway。
- 开发者 cramforce 将 Jev 接入原本基于 Gemini 2.5 Flash Lite 的分类器评测,结果质量直接把评测跑饱和(100% 准确率),同时速度快 6 倍。
- @jonreed 所在的 Near Here 团队获得早期访问权限,将其用于本地活动数据验证并逐一调优 prompt:响应速度最高提升 5.7 倍,成本降低 98%,准确率提升 12 个百分点。
- @hardimanjames 转述 N8Programs 的实测:在 MMLU、GPQA 等多个选择题基准上对比,验证了 Jev 在 System 1 任务上的智能可与 GPT-5.6 Terra 媲美。
- @manubfr 拿到访问权后测试 Jev 用作对齐监控器:在 4 个公开 benchmark 上评测其对有害内容的判断,称击败主流方案且价格最便宜。
- 据 @hwchase17 转发,Jev 由 LangChain 团队成员 Sydney Runkle 与 Hunt Lovell 参与打造,官方口径为最高 200 倍速度/400 倍成本优化。
尚未确认
- 各项对比数据均来自第三方或早期访问用户的自述,尚未见独立复现;「Luna 级智能」及 200/400 倍优化为厂商宣称口径。
为什么重要
- 四组独立的真实生产/评测替换都指向同一结论:在结构化判断类任务上,专用评估模型可以用远低于通用大模型的延迟和成本达到同等或更高的质量。
- 若实测结果可复现,对高吞吐分类、路由、评审与内容安全监控类应用是值得直接 A/B 验证的替代方案。
- 第三方实测证实 typesafeai 的 Jev 达到 GPT-5.6 Terra 同级智能 — hardimanjames · 2026-09-16
- 实测 TypeSafe Jev:响应快 5.7 倍,成本降 98%,准确率高 12 个百分点 — jon_reed · 2026-09-16
- Typesafe AI 新模型 Jev 实测:质量饱和旧评测,速度反超 Gemini 2.5 Flash Lite 6 倍 — cramforce · 2026-09-17
- Typesafe AI 的 Jev 在 Vercel 评测中跑出 100% 准确率、快 6 倍 — schwentker · 2026-09-17
- TypeSafe AI 推出评估模型 Jev,上架 Vercel AI Gateway — hackgoofer · 2026-09-17
- TypeSafe.ai 的 Jev:超快低价决策引擎,判有害内容击败主流方案还最便宜 — manubfr · 2026-09-17
- Typesafe AI 发布分类模型 Jev,成本较同类 LLM 最多降 400 倍 — hwchase17 · 2026-09-18
- Typesafe AI 发布分类模型 Jev,成本降低至 1/400 — BraceSproul · 2026-09-18
第 3 集 · Vercel fx 安全审查将换用 Jev 快 18 倍(2026-09-17,3 条)
Vercel CEO Guillermo Rauch 确认,fx auto 默认模式内置的命令安全审查器将改用 typesafeai 的 Jev。fazxes 团队的基准测试显示,Jev 在 fx auto 模式安全分类器任务上比当前首选的 GPT-5.6-Luna 快约 5 至 18 倍且准确率更高,Rauch 转发测试结果并称赞其效果显著,意味着这一替换将大幅提升 fx 默认安全审查的速度与精度。
- fx 安全分类器实测:比 GPT-5.6-Luna 快 5-18 倍且更准 — cramforce · 2026-09-17
- Vercel fx 默认安全审查将换用 Jev:比 GPT Luna 快 5-18 倍更准 — thesaraharminta · 2026-09-17
- rauchg:fx 默认模式的安全审查器用 GPT Luna 驱动,快 18 倍 — schwentker · 2026-09-17
第 4 集 · OpenJev 开源:单张 3090 本地复刻 Jev 服务(2026-09-17,3 条)
TypeSafe 本周发布超快概率问答服务 Jev,输入数据加类型化问题即为每个选项返回概率,目前需排队候补。有开发者等不及候补名单,基于 DiffusionGemma 开源项目 OpenJev 复刻其 API:冻结 4B 模型(BF16),在一张家用 RTX 3090 上即可本地运行同款语义决策接口,上线即无需候补。
- openjev 开源:用 4B 模型在一张 3090 上复现 Jev 接口 — WolframRvnwlf · 2026-09-17
- OpenJev 开源:一张 RTX 3090 本地跑 Jev 式语义决策 — alexcovo_eth · 2026-09-17
- 等不及 Jev 排队?开源 OpenJev 用 DiffusionGemma 复刻同款 API — Every-Comment5473 · 2026-09-18
第 5 集 · TypeSafe AI 发布决策模型 Jev:不生成文本、只输出结构化决策(2026-09-17,73 条)
TypeSafe AI 发布首个模型 Jev,一个「只做决策、不写字」的前沿模型:输入应用状态和一组带类型的问题,单次 API 调用直接返回选项、分数与概率供代码执行,完全不生成文本。团队据称由 ChatGPT 背后研究员参与创办(社区转述中其身份出现 Milind、Diogo、kylejeong 等多个版本,多称 ChatGPT 联合发明者/联合作者),创始人自称隐身两年开发新训练方法 RLCD。产品定位为面向决策优化的「可组合智能」而非更好的聊天机器人,并主张「超人聊天模型并未带来 AGI」——即用 LLM 逐 token 生成再解析来做小决策既慢又贵,Jev 要替换的正是 agent 循环中的这类判断环节。TechCrunch 也报道其为开发者提供了通往软件智能更便宜更快的路径。
已确认
- Jev 已上线 Vercel AI Gateway,向所有用户开放,支持零数据保留(ZDR),输入定价 $0.04/百万 tokens,输出 token 免费(m11、m16)
- 机制上返回结构化决策而非文本:支持分类、路由、rubric 评分、工具选择与 guardrails 等场景;独立工程师 @mostlyidempotent 实测报告延迟仅约 70ms(m8)
- @Sam Witteveen 实测确认其专攻 System 1 快速分类而非长链推理(m1);@Cagnazzo82 演示了 Jev 实时玩《地铁跑酷》,展示实时决策能力(m2)
- 开发者 grichadev 实测安全流水线:比此前方案便宜 5 倍以上、更快且准确率明显更高,他称这是第一个真正令他印象深刻的新模型,Sentry 等真实流水线已开始采用(m18)
尚未确认
- 官方宣称的「快 20-200 倍、便宜 40-400 倍」为厂商口径,除 grichadev 的单一场景实测外尚缺广泛第三方验证(m3、m5)
- 创始人身份表述混乱:各转发帖分别称其为 Milind、Diogo、kylejeong,均自称 ChatGPT 联合发明者/共同发明者,准确身份未有官方澄清(m5、m12、m20)
- RLCD 作为新强化学习范式的技术细节未公开充分说明(m6、m8、m10)
为什么重要
- 若宣称的成本与速度成立,大量目前用 LLM 逐 token 生成再解析的小决策任务(分类、路由、守卫)可迁移到此类专用模型,显著降低 AI 应用成本与延迟(m13、m18)
- 它代表「模型不只是聊天机器人」的路线:以结构化、可组合输出直接嵌入软件决策层(m15、m19)
- 有转发者指出被低估的要点:TypeSafe 自称「数据研究实验室」,数据构建可能是其真正壁垒,Agent 轨迹监控等数据需求或将爆发(m14)
- TypesafeAI 发布零样本分类器 Jev,聊天数据标注成本大降 — yenkel · 2026-09-17
- Jev 引发热议:很多人忘了 encoder-only 分类器早已存在且好用 — brandon_galang · 2026-09-17
- typesafeai 的 Jev 分类器上线 AI Gateway,支持零数据保留 — cramforce · 2026-09-17
- Typesafe AI 发布 Jev:毫秒级决策路由评分模型,已上线 Vercel AI Gateway — cramforce · 2026-09-17
- 新模型 Jev 实测:安全流水线成本低 5 倍、更快且更准 — zeeg · 2026-09-17
- 实测新模型 Jev:专攻分类判断,欲取代 LLM-as-a-judge — doesdatmaksense · 2026-09-17
- Jev 走红背后:许多人不知道 encoder-only 分类器早已成熟 — RichmanRonald · 2026-09-17
- 开发者实测:Jev 做推文分类比最快 LLM 便宜 40 倍 — altryne · 2026-09-17
- 换用 Jev 给推文分类:比最快 LLM 快 6 倍、便宜 40 倍 — altryne · 2026-09-17
- Jev 评估模型已可通过 Vercel AI Gateway 使用,每百万 token 仅 0.04 美元 — jarrodwatts · 2026-09-17
- 实测 TypeSafe 判断模型 Jev:六大场景,速度比 Gemini 快 4 倍 — HamelHusain · 2026-09-18
- 用 Jev 判断模型做六件事:核查脚本到诊断 Agent 失败 — HamelHusain · 2026-09-18
- 前 ChatGPT 联合发明者发布 Jev:宣称快 200 倍、便宜 400 倍 — iamrobotbear · 2026-09-18
- 开源分类器模型 Jev 走红背后:很多 AI 开发者连分类器都写不出来 — edgarpavlovsky · 2026-09-18
- 自称 ChatGPT 联合发明者隐身两年,发布「决策专用」新模型 Jev — threepointone · 2026-09-18
- 自称 ChatGPT 联合发明者发布新模型 Jev:宣称快 20-200 倍、便宜 40-400 倍 — hardimanjames · 2026-09-18
- ChatGPT 研究员创办 TypeSafe,首发模型 Jev 只做决策不写字 — Scobleizer · 2026-09-18
- TypeSafe 推出结构化评估模型 Jev,登陆 Cloudflare AI Gateway — michellechen · 2026-09-18
- 发布仅 48 小时,40 秒拆解 724 条广告,Jev 席卷开发者圈 — Scobleizer · 2026-09-18
- 前ChatGPT共同作者隐身两年推出Jev模型,检测API宣称便宜百倍 — gaganghotra_ · 2026-09-18
第 6 集 · 神秘判定模型 Jev 引发热议,多轮实测结果出炉(2026-09-18,6 条)
TypeSafe 发布的模型 Jev 引发社区广泛关注:它不生成文本,只对「是/否、多选、打分」类类型化问题输出概率,被支持者视为对 LLM 范式的挑战。9 月 18–19 日多位开发者与博主密集发布实测结果,结论明显分化,成为当周 AI 圈争议焦点。
已确认
- LowNefariousness9966 在 49 项任务、约 8200 条数据(SST-2、MMLU、ARC、MS MARCO、XNLI、SQuAD、Banking 等)上实测,称 Jev 有 42 项追平或超过 GPT-5.6-luna(该结论在其两条帖子中重复出现,实为同一评测)。
- 开发者 ekzhang1 做同成本对比:用 Qwen3.6-35B-A3B(非推理模式)搭建 Jev 兼容公开 API,仅靠 SGLang 的 radix cache 保留 prefill 复用实现极快并行生成,结果显示 Jev MMLU-Pro 达 82.9%,大幅领先通用模型的 58.8%。
- paraschopra 用 Qwen3-4B 与 400M 参数的 Laya 对比评测 Jev,基于 MMLU 等成绩与约 300ms 延迟推测其约为 30B 参数量级;其 9 月 19 日发布的完整 gist 覆盖 120 条导航路线加 4400 个分类/决策案例,同条件对比 Jev、Laya 与自建 Qwen3-4B 决策模型,其中关系推理任务 Jev 得 0 分。
- rorybuilds 上线 Easy-Jev 在线演示,修改输入即可实时观看分类结果变化;其硕士论文方向即分类模型,称 Jev 是经典算法的现代化版本,并认同 typesafe 的观点。
- @whereischarly 认为 Jev 与 GPT-5.6 的横评没有意义——Jev 不是 LLM,快是当然的;alexisgallagher 转而将 Jev 与 Hugging Face 上多年零样本分类的开源权重编码器对比,发现 Jev 准确率胜出,却输在以其命名的速度维度上。
尚未确认
- Jev 的真实参数量(paraschopra 的 30B 仅为基于成绩与延迟的推测)与训练方式、数据来源均无官方披露。
为什么重要
- Jev 代表「不生成文本、只输出概率」的路线,若其准确率优势在同成本、同延迟条件下可复现,可能冲击 LLM 在分类与判定类任务上的默认地位;但目前各家评测口径不一、任务类型敏感(关系推理得 0 分),其实际能力边界仍待更多独立验证。
- 粉丝为争议新模型 Jev 做出网页 Demo:改输入实时看分类变化 — zeeg · 2026-09-18
- 同成本实测:Jev MMLU-Pro 82.9% 大幅领先通用模型 58.8% — simonguozirui · 2026-09-18
- 反常识实测:判定模型 Jev 准确率胜出,却输在以之命名的速度上 — alexisgallagher · 2026-09-19
- 只出概率的 Jev 模型实测:49 项任务中 42 项追平或超过 GPT-5.6-luna — LowNefariousness9966 · 2026-09-19
- 博主实测神秘模型 Jev:疑似 30B 级,延迟 300ms,关系推理得 0 分 — paraschopra · 2026-09-19
- Jev 对比详细评测出炉:120 条导航路线加 4400 个决策案例 — paraschopra · 2026-09-19
第 7 集 · TypeSafe AI 的 Jev 模型与 RLCD 训练法引热议(2026-09-18,3 条)
TypeSafe AI 发布「System One Model」Jev 及其底层训练方法 RLCD(强化学习),提出以此替代 RLHF,走后训练的另一条路线,The Turing Post 对其进行了拆解分析。讨论者观点分化:calebfoundry 认为 2022 年 AI 从 token 预测转向指令跟随是关键转折,而 RLHF 的规模化选择带来了路径影响;也有 Reddit 用户质疑其除 JSON 输出和置信度分数外看不出实质创新,怀疑是旧瓶新酒。
- Type Safe AI 的 Jev 模型遭质疑:RLCD 到底新在哪? — Haghiri75 · 2026-09-18
- TypeSafe AI 提出用 RLCD 替代 RLHF,走后训练另一条路 — FrankFelixAI · 2026-09-19
- 拆解 TypeSafe 的 Jev 与神秘训练方法 RLCD:真突破还是旧瓶新酒 — TheTuringPost · 2026-09-19
第 8 集 · LangChain 发文教用 Jev 构建 Agent Harness(2026-09-18,7 条)
LangChain 团队成员 sydneyrunkle 于 9 月 18 日发布文章《Building a Harness with Jev》,LangChain 官方账号与创始人 Harrison Chase 均转发推荐,成为当周 LangChain 生态最受关注的内容之一。文章将 Agent 的运行本质描述为一个循环:LLM 决定下一步做什么,工具执行,再由模型评估结果,继续循环直至任务完成,并教程化地讲解了如何围绕这一循环构建评测/运行 harness。
已确认
- sydneyrunkle 指出当前大量 agent 流程中的分类步骤可由 Jev 这类分类专用小模型替换,从而大幅降低延迟与成本。
- Jev 的特点在于受限输出,专攻受限输出场景;LangChain 官方转发时称,如果对 Jev 感到困惑,这篇文章值得认真研究。
- Harrison Chase 转发评价 Jev 是一个很好、便宜且快速的分类器,把它引入 Agent 流程后可以使用更多 workflow 控制原语,为 LangGraph 场景增加可控性。
- matthewcanham 转发称这是目前对 Jev 工作原理拆解较好的文章,认为 Jev 是一个优化决策而非生成文本的新模型。
为什么重要
- 教程给出了 Agent Harness(评测/运行框架)的实操构建路径,属于 LangChain 官方一手产出。
- 将分类步骤外包给专用小模型,是降低 agent 成本与延迟的可行方案,与 LangGraph 的控制原语理念契合,对构建生产级 agent 流程有直接参考价值。
- LangChain 推出 Jev 教程:手把手构建 Agent 运行框架 — LangChain · 2026-09-18
- LangGraph 用 Jev 做廉价分类器,为 Agent 流程引入更多控制原语 — hwchase17 · 2026-09-18
- LangChain 释出 Jev 构建 Agent Harness 教程,专攻受限输出 — multiply_matrix · 2026-09-18
- 用分类专用小模型替换 agent 里的分类步骤,大幅降延迟与成本 — LangChain · 2026-09-18
- Jev 是优化决策而非生成文本的新模型,一文拆解其工作原理 — hwchase17 · 2026-09-19
- LangChain 推荐 Jev Agent 实战教程:用评估循环搭建 Agent Harness — LangChain · 2026-09-19
- LangChain 团队发文:用 Jev 构建循环式 Agent Harness — hwchase17 · 2026-09-19
第 9 集 · Jev 生态一夜爆发,GitHub 热门项目激增(2026-09-18,4 条)
围绕 @typesafeai 推出的 Jev 模型,GitHub 相关仓库一夜激增,browser-use 操作 agent 星标已近 8000。日本开发者按类别整理出六大高潜力项目,覆盖浏览器代理与自动交易等场景。社区发现 Jev 最有意思的用法并非作为又一个 LLM,而是充当现有系统外围的快速决策层,用于需要高速判断的场景。此外 SAM3.1 API 开放,Jev 已可通过 OpenRouter 使用,无需排队。
- TypeSafe Jev 生态爆发:六大 GitHub 项目覆盖浏览器代理与自动交易 — alexcovo_eth · 2026-09-18
- Jev 到底能干什么?酷炫项目合集线程来了 — tomcrawshaw01 · 2026-09-19
- Jev 生态爆发:GitHub 项目一夜激增,browser-use 操作 agent 星标近 8000 — udmrzn · 2026-09-20
- 开发者用 Jev 做「快速决策层」改造浏览器 Agent,生态爆出多个热门仓库 — minchoi · 2026-09-20
第 10 集 · 新模型 Jev 走红:只做决策不对话,快又便宜(2026-09-18,33 条)
TypeSafe AI 于 9 月 15 日发布首个「System One Model」Jev:不做聊天、不写文章也不写代码,只对每条输入输出带置信度的结构化决策(布尔判断、选择、打分等),采用隐身两年研发的新训练方法 RLCD(强化学习校准决策)。官方宣称在分类任务上比同类 LLM 推理快 20-200 倍、便宜 40-400 倍(输出 token 免费),发布数日内在 X、Reddit 与 Agent 开发者社区刷屏,LangChain 已集成并宣布下周二直播,Venice、Merge、Cloudflare、Vercel 等平台均已上架。关于创始人「ChatGPT 联合发明者」的说法广泛流传于转发帖,johnseach 的报道给出更准确表述:他是参与 ChatGPT RLHF 工作的 OpenAI 前研究员 Diogo Almeida,公司隐身两年、据报道获 4000 万美元融资。
已确认
- Jev 的用法是输入状态(文本/JSON)加带类型的问题,返回带类型与校准概率的答案,适合高频内部决策:垃圾信息判断、工具路由、是否需人工介入等。据 SeaSupermarket5891 通读官方文档整理:延迟 70-500ms,输入 $0.042/百万 token,输出免费;答案类型包括布尔、Choice(最多约 25 项)等
- 生态接入迅速:LangChain 已集成,将于下周二由工程师 Sydney Runkle 对话 TypeSafe AI 直播,创始人 hwchase17 多次转发背书;Venice 在专门端点 /api/v1/decisions 免费开放 beta;Merge Gateway、Cloudflare AI Gateway 与 Vercel Gateway 均已上架
- 社区快速跟进:minchoi 等分享初步体验包括用 Jev 玩《D&D》场景;入门文章归纳 9 个用例;alexcovoeth 提到实时虚拟试衣场景单次决策成本仅 0.0011 美元;Babayaga1664 观察到把文档喂给前沿模型再让 Jev 判断的反直觉用法,认为越有创意地设计查询收益越大;curiousperhaps 也发帖分享初步体验,指出 agent 中并非每个决策都需要大模型
- bibryam 提出实用分工:Jev 负责判断类调用(如客户请求分类),生成型模型负责写回复等复杂任务;eptwts 总结其机制——给模型情境和一组候选答案,它直接选出其一并给置信度,因此只能选择给定答案、几乎不会幻觉;Alexatallah(经 multiplymatrix 转发)将 AI 任务按熵值分档,认为 Jev 是首个真正为低/中熵任务优化的模型
尚未确认
- 「快 20-200 倍、便宜 40-400 倍」为官方宣称指标,转发帖中出现快 193 倍、便宜 445 倍等不同数字,hwchase17 的转发表述亦不一(有降 200 倍成本、提速 400 倍的说法),SeaSupermarket5891 指出「200x 更快」是常见误读,尚缺独立系统验证
为什么重要
- 软件中大量 LLM 调用实际只需要一个标签或判断,用重型生成模型处理既慢又贵,Jev 代表一种架构修正:牺牲输出复杂度换取成本与速度;按熵分档的框架进一步明确其适用边界
- JensHonack 类观点认为这是「聊天机器人之后的新叙事」,适合一天上千次、定义清晰的高频决策,最强用法是嵌入更大工作流承担判断环节;eptwts 补充其「只能从候选中选择」的机制天然抑制幻觉
- Greg Isenberg 等人以「1,700 封邮件 18 美分」为例,认为分类型 AI(分类、路由、匹配、审批)可解锁新商业模式;多平台快速接入显示基础设施层对「决策型模型」新品类的兴趣
- 一文讲清 Jev 是什么:面向决策而非对话的 AI 及 9 个用例 — blaizedsouza · 2026-09-18
- Jev 模型专攻低中熵任务,开发者称前端模型只留给高熵活 — multiply_matrix · 2026-09-18
- TypeSafe Jev 定价曝光:每十亿输入 token 42 美元,输出免费 — altryne · 2026-09-19
- TypeSafe 新模型 Jev 非 LLM:输入按问题计费,输出免费 — altryne · 2026-09-19
- Jeb 走红总结:不写作只选答案,快到极致且几乎不会幻觉 — eptwts · 2026-09-19
- Typesafe 发布分类模型 Jev,宣称比 LLM 快省至 200-400 倍 — hwchase17 · 2026-09-19
- TypeSafe AI 决策模型 Jev 上架 Merge Gateway,输出完全免费 — shensi · 2026-09-19
- Jev 模型宣称分类任务推理快 200 倍、成本低 400 倍 — LangChain · 2026-09-19
- TypeSafe AI 推理模型 Jev 号称快 200 倍、成本降 400 倍,LangChain 集成并开直播 — hwchase17 · 2026-09-19
- 类型化推理模型 Jev 登陆 Venice API:回答不写代码 — 0xAllen_ · 2026-09-19
- LangChain 开直播聊新模型Jev:宣称推理快200倍、成本低400倍 — hwchase17 · 2026-09-19
- 神秘模型 Jev 发布:宣称快 200 倍便宜 400 倍,网友实测叫好 — multiply_matrix · 2026-09-19
- ChatGPT 联合发明人推出决策模型 Jev:快 193 倍、便宜 445 倍 — mazzaTalk · 2026-09-19
- 不等 waitlist:实测用 Vercel AI Gateway 跑通 Jev 评测接口 — AlchainHust · 2026-09-19
- Greg Isenberg 拆解 Jev:1,700 封邮件 18 美分,分类型 AI 解锁哪些新生意 — Roger_M_Taylor · 2026-09-19
- Jev 只输出打分/真假:一类「反直觉」的小型 LLM 用法 — Babayaga1664 · 2026-09-19
- TypeSafe 推出 Jev:不做文本生成、专为软件决策设计的模型 — _jaydeepkarale · 2026-09-19
- Jev 时刻解读:后聊天机器人叙事兴起,分类器用速度换复杂度 — JensHonack · 2026-09-19
- Jev 实战定位:拿去做千次级高频决策,别让它重写代码库 — JensHonack · 2026-09-19
- 决策模型 Jev 免费上线 Venice API:只回类型化答案不写散文 — 0xAllen_ · 2026-09-20
第 11 集 · TypeSafe Jev 决策模型爆红:突破、质疑与复制之争(2026-09-18,7 条)
TypeSafe AI 的 Jev「决策模型」成为本周开发者社区的焦点产品:它并非常规 LLM,不生成文本,而是仅用 LLM 预测特定选项的 next-token 概率直接输出判断。社区对其评价两极:一方视其为真现象、预测各大前沿实验室将在几个月内跟进;另一方从技术原理、数据来源和商业模式提出质疑。
已确认
- 技术原理:据 @JnBrymn 分析,Jev 只读特定 token 的概率即可得出结论,例如输入「This product sucks!」这类差评后,仅看「satisfied」相关两个 token 的概率就能输出判断。他据此认为 OpenAI 等大厂随时可以复制这一产品形态。
- 价值主张:@zainhoda 回应「为什么要用 Jev」的质疑,称其卖点是零前期固定成本——模型已预训练好、可直接用于通用场景;但他也承认需要付费一次性训练的专用小模型仍有其位置。@emax 则追问其「通用应用」是否真实存在。
- 行业判断:@obie 力挺 @typesafeai 的产品,称大批普通程序员正学着把快速、便宜的智能接入普通代码库,认为 JEV 不只是新品而是一股真现象,并预测未来几个月各前沿实验室都会推出 Jev 风格产品。@kieranklaassen 则补充了另一视角:老牌结构化输出方案早就存在,这次只是变得更快更便宜。
- 突破归因:rasbt 回应「一年前就有人做出同类产品却无人问津」的说法,称长期训练分类用 encoder 模型的人都知道以往模型专用且能力有限,Jev 的突破在于泛化能力,而秘方很可能在数据而非训练算法,加上好的 API 设计,同类竞品仍差得很远。
尚未确认
- 训练数据细节未公布,官方仅称「100 percent synthetic」。
- 泛化能力是否真能达到 LLM 级别的通用性,社区仍有分歧(如 @emax、@caglaree 的质疑)。
为什么重要
- 研究者 nickmvincent 给出初步正面评价(使用感受「似乎很棒」),但同时警告两个令人担忧的信号:不公布数据细节、且禁止对其做评测,认为这种趋势堪忧。
- @caglaree 借 Shopify CEO Tobi Lütke 引用的 OpenAI 前员工评论(Post-ChatGPT 时代的人难以理解此前为何做不出通用分类器)提出技术质疑:判别式模型难做通用分类器,这一根本问题尚无定论。
- 若 @obie 的预测成真,决策模型可能成为 LLM 之后的新产品类别,其低成本、零训练门槛的定位将冲击传统专用 ML 模型市场。
- 用 LLM 概率做分类的 TypeSafe Jev,为何 OpenAI 随时可复制 — JnBrymn · 2026-09-18
- Jev 只读两个 token 的概率做判断,大厂为何能轻易复制它? — JnBrymn · 2026-09-18
- 开发者热议 JEV 决策模型浪潮:老牌结构化输出早就有了,这次只是更快更便宜 — kieranklaassen · 2026-09-19
- Jev价值之争:零固定成本 vs 一次性训练的专用小模型 — zain_hoda · 2026-09-19
- Tobi 谈 Jev 之争:判别式模型难做通用分类器 — caglar_ee · 2026-09-19
- rasbt 谈 Jev 突破:秘诀在数据而非算法,同类竞品仍差很远 — RichmanRonald · 2026-09-20
- 研究者警告:模型「100% 合成数据」且禁做评测,趋势堪忧 — IanArawjo · 2026-09-20
第 12 集 · Jev 补上通用分类器空缺,成本低约百倍(2026-09-19,2 条)
开发者 drewdil 用一天时间把 Typesafe AI 的 Jev 与自家生产环境判别模型做基准对比,发现在从固定列表选标签这类任务上,Jev 能以约百倍低的成本打平甚至超过现有模型。针对「分类器早就有」的质疑,@MKhordoo 回应称 BERT、DeBERTa、GLiNER 等专用分类器虽存在,但换标签就要重新训练,而 Jev 用代码定义标签、无需额外 LLM 调用,补上了通用分类器的空缺。
- Jev 实测:固定标签分类任务准确率持平现有模型,成本低约百倍 — ivan_bezdomny · 2026-09-19
- Jev 补上通用分类器空缺:代码定义标签,无需额外 LLM 调用 — alexcovo_eth · 2026-09-19
第 13 集 · 开发者看好 Jev 作 LLM 路由器而非主力模型(2026-09-19,2 条)
多位开发者厘清 Jev 的产品定位:它不是要取代 Claude 或 ChatGPT 这类主力模型,而是在指定输出之间做决策的工具。一位作者通读 Jev 文档后总结,其用法是给若干候选项做选择;开发者 HarveenChadha 则发推称找到了 Jev 的完美用例——为子代理(subagents)做模型路由,不过未展开技术细节。
- 开发者称 Jev 适合作子代理的模型路由器 — HarveenChadha · 2026-09-19
- Jev 不是替代主力模型,而是给多个 LLM 输出做决策的路由器 — Kilo_Loco · 2026-09-20
第 14 集 · 开发者实测:Jev 成批量打标签任务性价比之王(2026-09-19,2 条)
多位开发者分享实测体验:给数千条推文、数百篇新闻打标签这类批量任务,用大模型低效且昂贵,以往只能在延迟成本与模型能力间妥协。开发者认为 Jev 是自 grok 4.1 fast 以来首个真正「够聪明且可规模化」用于批量任务的模型,速度快且价格便宜得多,成为此类任务的首选。
- 开发者:Jev 是 grok 4.1 fast 后首个批量任务性价比之王 — droovg · 2026-09-19
- 开发者实测:Jev 又快又便宜,批量打标签任务首选 — ivan_bezdomny · 2026-09-19
第 15 集 · JevBench 基准发布:Jev 1.13 险守榜首,开源紧咬(2026-09-19,8 条)
9 月 19 日,airesearch12 发布 JevBench v1,一个针对「Jev 类」类型化决策模型的公开基准:模型接收应用状态与受限评分规则,输出带概率的类型化答案,无开放式散文输出。首测覆盖 242 项决策、六个任务族、九个模型,沿五个维度打分(如 smart 即准确率等),准确率最高达 97.1%。截至 9 月 20 日的 v1.2 排行榜上,Jev 1.13 以 75.3 分继续居首,但开源 4B 模型 SemIf 得 74.6 分紧咬,领先优势已很小。
已确认
- 9 月 20 日,rohanpaulai 介绍 JevBench 综合评分纳入智能、校准、速度与成本四项,理由是部署时这些维度同样关键;并指出其配套 TypeSafe 于 9 月 15 日发布的 Jev:输入应用状态与固定选项,返回带概率的类型化答案。
- JevBench v1.2 排行榜更新:Jev 1.13 以 75.3 分居首,开源 4B 模型 SemIf 得 74.6 分,另一开源模型 open-alternative-jev 得 69.8 分。
- v1.2 榜单已上线 Benchmark Heaven(airesearch12、rohanpaulai 均确认),专门为「Jev-class」高性价比、面向决策/任务执行的模型排名,支持按综合分、编码、智能体工具使用、科学、长上下文等维度排序,并可切换输入/输出价格权重;rohanpaulai 补充站点还提供托管地区(EU/US/中国)、数据保密政策等筛选条件。airesearch12 另指出该站点是模型评测聚合平台,并发布了 Jev 与 GLiNER2 的详细对比实测。
- 起因上,airesearch12 于 9 月 19 日提到有开发者宣布正在构建首个「Jev benchmark」,用于系统对比官方 Jev 与近期涌现的开源仿制项目,并作为 benchmarkheaven 项目的一部分——该工作随后以 JevBench 落地。
尚未确认
- airesearch12 转发 m3 时仅称 Jev 仍居榜首但领先优势已很小,未给出具体分数,与 v1.2 数据吻合但属早期不完整信息。
为什么重要
- JevBench 把「有界软件决策」类模型输出从开放式文本评测中剥离,同时量化智能、校准、速度与成本,为部署决策提供更贴近实际的参考;开源模型与官方 Jev 分差不足 1 分,显示该赛道竞争高度胶着,开源替代方案正快速逼近。
- 开发者着手构建首个 Jev 开源复刻项目对比基准 — airesearch12 · 2026-09-19
- JevBench 首测:242 项决策对比九个模型,准确率最高 97.1% — airesearch12 · 2026-09-19
- JevBench v1.2 发布:Jev 1.13 以 75.3 分险守榜首 — airesearch12 · 2026-09-19
- 第三方榜单 JevBench v1.2 上线,聚焦性价比导向的决策模型排名 — airesearch12 · 2026-09-20
- JevBench 榜单出炉:Jev 仍居榜首但优势缩小 — airesearch12 · 2026-09-20
- 新基准 JevBench:综合智能、校准、速度与成本评模型 — rohanpaul_ai · 2026-09-20
- JevBench v1.2 上线 Benchmark Heaven:Jev 类决策模型排行 — rohanpaul_ai · 2026-09-20
- Benchmark Heaven 上线 Jev 级模型评测,Jev 对比 GLiNER2 实测出炉 — airesearch12 · 2026-09-20
第 16 集 · 决策模型 Jev 爆火:创 Vercel 网关最快采用纪录(2026-09-19,14 条)
TypeSafe AI 发布的首个公开模型 Jev 成为近期 AI 圈最热话题:这是一个不做文本生成的「决策专用」模型,接收状态(网页、广告、工单、DOM 等)和带类型的问题,只从预定义选项集中返回一个选择并附校准后的置信度分数,物理上不可能输出偏离 schema 的结果。Vercel 官方数据显示其上线 AI Gateway 首日即被约 13% 的团队采用,创该网关历史最快纪录;36 小时内 14 万人加入候补名单,HN 榜首停留一整天。
已确认
- Vercel 官方数据:Jev 上线首日约 13% 团队接入,采用速度为 GPT-5.6 系列同期的 2 倍、Fable 5.1 的 6 倍,是该网关历史上采用最快的模型。rauchg 亦转发了这一数据,称上线 24 小时内使用它的付费团队数是此前任何模型发布的 2 倍以上。
- Jev 在 Vercel AI Gateway 限时免费,促销定价截至 2026 年 9 月 25 日,官方定位为「System 2」类判断原语。
- 据 AGI Hunt 拆解:Jev 号称比生成式 LLM 快 20-200 倍、便宜最高 400 倍,定价 $0.042/百万 token;公司由前 OpenAI 研究员、RLHF 共同创造者之一 Diogo Almeida 创办,种子轮融资 4000 万美元由 DCVC 领投。DCVC 投资人 James Hardiman 回顾,公司 18 个月前的愿景是「可靠、快速、便宜到无处不在的智能原语」,创始人团队还包括 CompleteSkeptic、EGafni 等人(帖中有帖子称其为「ChatGPT 联合创造者」推出)。
- 社区热度:36 小时 14 万人候补、HN 榜首一整天,社区已造出 359 个项目;有人花 48 小时试用后写出 34 页指南,含 20 个工作流设计,并将其视为可能支撑 2028 年 AI 工程师技术栈的组件。
观点与争议
- @signulll 分析 Jev 类模型无解码循环、输出有界、可并行推理,适合跑端侧,可将「判断」以零边际成本、近零延迟嵌入各类设备,且认为「很快会发生」。
- @dpopa 转述长文观点:传统软件靠 50-100ms 事件循环获得响应感,自回归模型 1-5 秒才能吐出文本,Jev 的毫秒级决策引擎可能重构生成式 GUI、终结文本提示词主导的交互方式。
- @Loran750 泼冷水:Jev 能做的事用固定 embeddings 加逻辑回归多年前就能实现——同样输入同样输出、阈值自己可控,hype 只是让大家「发现」了分类器这个品类。也有人称其让一半 AI 工程过时。
为什么重要
- Jev 代表「判断/决策原语」这一新品类的爆发出圈:结构化输出、可校准置信度、极低延迟与成本,可能改变 LLM 应用中大量分类与路由场景的成本结构;但其相对传统分类器的真实增量,以及快 200 倍、便宜 400 倍的宣传口径,仍待独立验证。
- Jev 类模型无解码循环、有界输出,或成端侧设备的近乎免费判断原语 — signulll · 2026-09-19
- Jev 创 AI Gateway 史上最快采用纪录:首日覆盖 13% 团队 — HankYeomans · 2026-09-19
- Jev 上线 24 小时创 AI Gateway 采用纪录,13% 付费团队已接入 — multiply_matrix · 2026-09-19
- Vercel:Jev 首日即被约 13% 团队采用,创 AI Gateway 纪录 — multiply_matrix · 2026-09-19
- 评测模型 Jev 上 Vercel AI Gateway,9 月 25 日前免费 — cramforce · 2026-09-19
- Jev 创 AI Gateway 最快采用纪录:首日覆盖 13% 团队 — multiply_matrix · 2026-09-19
- 初创 TypeSafe 首个模型 Jev 创 AI Gateway 史上最快采用纪录 — hackgoofer · 2026-09-19
- TypeSafe 首个模型 Jev 创 AI Gateway 采用速度纪录,Seed 轮由 DCVC 领投 — hardimanjames · 2026-09-19
- Jev 决策模型爆火:比 LLM 快 20-200 倍,社区已造出 359 个项目 — Loran750 · 2026-09-19
- Jev 为何可能终结文本提示词:毫秒级决策引擎重构生成式 GUI — dpopa · 2026-09-20
- JEV 深度拆解:$0.042/百万 token 的快速判断模型值不值得用 — AGI Hunt · 2026-09-20
- Jev 爆火被泼冷水:这些分类器玩法 embeddings+逻辑回归早就能做 — Loran750 · 2026-09-21
- 决策模型 JEV 快 200 倍便宜 400 倍,有人称其让一半 AI 工程过时 — gaganghotra_ · 2026-09-21
- ChatGPT 联创新作 Jev:不靠长 LLM 回复做批量决策 — DrDatta_AIIMS · 2026-09-21
第 17 集 · omarsar0 实测 Jev:给 Agent 装上低成本验证器(2026-09-19,10 条)
AI 研究者 Elvis Saravia(omarsar0)于 9 月 19-20 日连续发帖,分享将新原语 Jev 集成到自建 agent harness 的初步体验,并称对结果非常兴奋。他的核心立场是:时间线上大多数 demo 只展示了 Jev「快和便宜」,这个角度已被讲烂,很多演示还只是花哨但基础的老分类任务;真正值得关注的是 Jev 作为新原语能解锁什么。
已确认
- Elvis 将 Jev 集成进自建 agent harness,初步结果令他兴奋;总体判断是 Jev 并非替代前沿大模型,而是提供更便宜更快的工作流加速。
- 一个被他称为「疯狂用法」的发现:用 Jev(System One 类模型)构建自定义验证器,服务于其 harness 中的 /goal 功能——验证器在每一轮对话后检查目标完成情况,让长程 agent 全程自检。
- 他还用 Jev 搭建了自定义评测环境,关注模型能否解锁新能力,而非停留在跑分。
- 关于 /goal 校验时机,他回应 petersykim 的提问称:目前是在 agent 声称完成时检查一次,但由于 Jev 成本很低,逐步(每步)检查也是可行的策略。
- 他建议开发者深入了解自己所用编程 agent harness 中 /goal 功能的原理,并尝试集成 Jev 或自定义 harness 来启用该能力;他坦言对直接使用 Codex 或 Claude 等现成工具持保留态度(更倾向自建)。
- 他还谈 agent 工程实践:X 上那些炫酷 demo 大多无法进入生产环境,他写文章鼓励大家探索更能提升实际效果的「无聊」用法,如给 agent 装上低成本校验。
- 在整理一份指南时,他总结 Jev 这类 System One 专用模型的三个看点:持续评测与监控、通过自定义验证器支持长程 agent、递归自我改进的 agent harness;核心论点是并非所有任务都需要前沿大模型。
- 他进一步预测:基于 Jev 的评测思路(他称之为最无聊但最实用的用法)很可能在未来几周内被主流评测框架采纳,催生一批以社区为中心、可共享的 verifier。
尚未确认
- 「社区化共享 verifier 数周内进入主流评测框架」属于他的个人预测,尚无框架方表态佐证。
为什么重要
- Elvis 的实践将讨论从「快和便宜」的性能叙事,转向专用模型作为 agent 基础设施组件的工程价值;自定义验证器与低成本逐步自检,为构建长程、可自我纠错、可持续评测的 agent 系统提供了具体且可复制的路径;若其关于共享 verifier 进入主流评测框架的预测成真,还可能重塑社区的评测协作方式。
- Elvis Saravia 实测 Jev:新原语正在解锁 Agent Harness 的更多玩法 — omarsar0 · 2026-09-19
- Elvis 详解新原语 Jev:为 Agent harness 解锁更便宜的扩展策略 — omarsar0 · 2026-09-20
- Elvis Saravia 用 Jev 搭自定义评测环境:更关注模型能解锁什么新能力 — omarsar0 · 2026-09-20
- Jev等System One模型做agent底座的三个看点 — omarsar0 · 2026-09-20
- 用 Jev 做廉价验证器,让长程 Agent 全程自检目标完成度 — omarsar0 · 2026-09-20
- 用 Jev 为自定义 Agent 搭建每轮持续验证器 — omarsar0 · 2026-09-20
- 在自建 agent harness 里集成 /goal 功能,omarsar 分享定制思路 — omarsar0 · 2026-09-20
- Agent 何时自检:omarsar0 谈 /goal 校验时机与低成本步骤间检查 — omarsar0 · 2026-09-20
- Jev 作者:与其追炫技 demo,不如给 agent 装上低成本校验 — omarsar0 · 2026-09-20
- Elvis Saravia 预判:社区化共享 verifier 或数周内进入主流评测框架 — omarsar0 · 2026-09-20
第 18 集 · 开发者实测16模型校准:Jev又快又诚实但准确率仅第10(2026-09-19,8 条)
开发者 AlexKim 为判断 TypeSafe 的 Jev 是否值得加入自己的技术栈,对 16 个模型做了系统实测,重点比较 Jev 与 Haiku,并意外发现「校准」这一项几乎没打算测的指标反而最有区分度。
已确认
- Jev 准确率在 16 个模型中只排第 10;作者经历多轮结论修正:AI 生成的初稿结论相互矛盾,一说「Jev 置信度可用、Haiku 不行」,一说「Haiku 更准」,最终在正确统计和加测任务后才确定 Jev 与 Haiku 在关键校准指标上打平。
- 模糊区间(0.35–0.65)作答率方面:Sonnet 5 达 41.3%,Fable 5.1 为 36.7%,Jev 为 34.7%,Opus 5 为 23.3%,前四名之后断崖式下跌;开源模型几乎从不落在模糊区间,即几乎从不说「不确定」。
- Jev 是四个「诚实承认不确定」的模型中唯一亚秒级响应的:455 毫秒,为 16 个模型中最快;次快的诚实模型 Sonnet 5 需要 3.7 倍时间。作者认为这让 Jev 可承担全量请求的门控角色。
- 价格和发布时间均无法预测校准表现:最贵的 kimi-k3 在准确率和校准上双双垫底;deepseek-v4-flash 以 0.003 美元跑完全部测试,准确率反而超过 Jev。
- Jev 返回带校准概率的结构化判断而非文本:Choice 从选项中选一、Score 按序级评分、Noul 输出 yes/no 条件成立的概率,无 prose、无推理轨迹;独立问题共用同一 state 可在一次请求中处理。
为什么重要
- 作者强调:价格和「身价」都不决定模型是否会承认不确定,选型时应看实测校准数据而非价格标签。
- 一个任务构不成基准:作者以自身经历说明单任务结论(如「Haiku 更准」)会随加测任务而反转,评测结论必须在数据面前反复存活。
- 「快 + 诚实」的组合让 Jev 占据独特生态位:可作为低成本、低延迟的全量请求门控,与其他模型分工协作。
- 实测16个模型:TypeSafe Jev 准确率仅排第10 — AlexKim · 2026-09-19
- 作者实测16个模型发现:关键校准指标上Jev与Haiku打平 — AlexKim · 2026-09-19
- 16模型评测另发现:Sonnet 5 模糊区间作答率高达41.3% — AlexKim · 2026-09-19
- 为验证一个模型实测 16 家:一个任务构不成基准 — AlexKim · 2026-09-19
- 16 模型校准实测:开源模型几乎从不说「不确定」 — AlexKim · 2026-09-19
- 校准实测续:最贵模型准确率和校准双双垫底 — AlexKim · 2026-09-19
- Jev:唯一又快又「诚实」的模型,455ms 可当全量门控 — AlexKim · 2026-09-19
- Jev 实测:唯一亚秒级且会坦承不确定的校准门控模型 — AlexKim · 2026-09-19
第 19 集 · 开发者实测 Jev 分类模型:50 单全对,成本极低(2026-09-19,4 条)
TypeSafe 新发布的「决策模型」Jev 接收文本、问题和选项列表并返回选项与置信度,输出 token 免费,上线 72 小时相关项目从 46 个涨到 160 个。多位开发者独立实测:在 50 份、6 类、跨 10 种语言、含 OCR 错误和误导性线索的发票分类任务中全部正确,成本约为 Claude Opus 的 1/110,共 644 次调用仅花 0.23 美元;但测试也发现其边界——缺少明确规则时它会自信地犯错。
- 实测 Jev 发票分类:50/50 全对,成本仅 Claude Opus 约 1/110 — PawelHuryn · 2026-09-19
- 开发者实测 Jev:50 份发票全对,每次决策仅 $0.025 — PawelHuryn · 2026-09-19
- 开发者实测 Jev 分类器:50 单据全对且最便宜,但缺规则时自信犯错 — PawelHuryn · 2026-09-19
- 独立实测 Jev 决策 API:644 次调用仅花 0.23 美元 — PawelHuryn · 2026-09-19