omarsar0 实测 Jev：给 Agent 装上低成本验证器

AI 研究者 Elvis Saravia（omarsar0）于 9 月 19-20 日连续发帖，分享将新原语 Jev 集成到自建 agent harness 的初步体验，并称对结果非常兴奋。他的核心立场是：时间线上大多数 demo 只展示了 Jev「快和便宜」，这个角度已被讲烂，很多演示还只是花哨但基础的老分类任务；真正值得关注的是 Jev 作为新原语能解锁什么。

已确认

• Elvis 将 Jev 集成进自建 agent harness，初步结果令他兴奋；总体判断是 Jev 并非替代前沿大模型，而是提供更便宜更快的工作流加速。
• 一个被他称为「疯狂用法」的发现：用 Jev（System One 类模型）构建自定义验证器，服务于其 harness 中的 /goal 功能——验证器在每一轮对话后检查目标完成情况，让长程 agent 全程自检。
• 他还用 Jev 搭建了自定义评测环境，关注模型能否解锁新能力，而非停留在跑分。
• 关于 /goal 校验时机，他回应 petersykim 的提问称：目前是在 agent 声称完成时检查一次，但由于 Jev 成本很低，逐步（每步）检查也是可行的策略。
• 他建议开发者深入了解自己所用编程 agent harness 中 /goal 功能的原理，并尝试集成 Jev 或自定义 harness 来启用该能力；他坦言对直接使用 Codex 或 Claude 等现成工具持保留态度（更倾向自建）。
• 他还谈 agent 工程实践：X 上那些炫酷 demo 大多无法进入生产环境，他写文章鼓励大家探索更能提升实际效果的「无聊」用法，如给 agent 装上低成本校验。
• 在整理一份指南时，他总结 Jev 这类 System One 专用模型的三个看点：持续评测与监控、通过自定义验证器支持长程 agent、递归自我改进的 agent harness；核心论点是并非所有任务都需要前沿大模型。
• 他进一步预测：基于 Jev 的评测思路（他称之为最无聊但最实用的用法）很可能在未来几周内被主流评测框架采纳，催生一批以社区为中心、可共享的 verifier。

尚未确认

• 「社区化共享 verifier 数周内进入主流评测框架」属于他的个人预测，尚无框架方表态佐证。

为什么重要

• Elvis 的实践将讨论从「快和便宜」的性能叙事，转向专用模型作为 agent 基础设施组件的工程价值；自定义验证器与低成本逐步自检，为构建长程、可自我纠错、可持续评测的 agent 系统提供了具体且可复制的路径；若其关于共享 verifier 进入主流评测框架的预测成真，还可能重塑社区的评测协作方式。

2026-09-19 ~ 2026-09-20 · 10 条相关

事件全程(共 19 集)→

• 第 1 集:TypeSafe 结束隐身发布决策模型 Jev 与新训练法 RLCD(2026-09-16,86 条)
• 第 2 集:TypeSafe AI 发布专用评估模型 Jev，实测速度与成本优势显著(2026-09-16,8 条)
• 第 3 集:Vercel fx 安全审查将换用 Jev 快 18 倍(2026-09-17,3 条)
• 第 4 集:OpenJev 开源：单张 3090 本地复刻 Jev 服务(2026-09-17,3 条)
• 第 5 集:TypeSafe AI 发布决策模型 Jev：不生成文本、只输出结构化决策(2026-09-17,73 条)
• 第 6 集:神秘判定模型 Jev 引发热议，多轮实测结果出炉(2026-09-18,6 条)
• 第 7 集:TypeSafe AI 的 Jev 模型与 RLCD 训练法引热议(2026-09-18,3 条)
• 第 8 集:LangChain 发文教用 Jev 构建 Agent Harness(2026-09-18,7 条)
• 第 9 集:Jev 生态一夜爆发,GitHub 热门项目激增(2026-09-18,4 条)
• 第 10 集:新模型 Jev 走红：只做决策不对话，快又便宜(2026-09-18,33 条)
• 第 11 集:TypeSafe Jev 决策模型爆红：突破、质疑与复制之争(2026-09-18,7 条)
• 第 12 集:Jev 补上通用分类器空缺，成本低约百倍(2026-09-19,2 条)
• 第 13 集:开发者看好 Jev 作 LLM 路由器而非主力模型(2026-09-19,2 条)
• 第 14 集:开发者实测：Jev 成批量打标签任务性价比之王(2026-09-19,2 条)
• 第 15 集:JevBench 基准发布：Jev 1.13 险守榜首，开源紧咬(2026-09-19,8 条)
• 第 16 集:决策模型 Jev 爆火：创 Vercel 网关最快采用纪录(2026-09-19,14 条)
• 第 17 集:omarsar0 实测 Jev：给 Agent 装上低成本验证器(2026-09-19,10 条)
• 第 18 集:开发者实测16模型校准：Jev又快又诚实但准确率仅第10(2026-09-19,8 条)
• 第 19 集:开发者实测 Jev 分类模型：50 单全对，成本极低(2026-09-19,4 条)

• Elvis Saravia 实测 Jev：新原语正在解锁 Agent Harness 的更多玩法 — omarsar0 · 2026-09-19
• Elvis Saravia 用 Jev 搭自定义评测环境:更关注模型能解锁什么新能力 — omarsar0 · 2026-09-20
• Jev等System One模型做agent底座的三个看点 — omarsar0 · 2026-09-20
• 用 Jev 做廉价验证器,让长程 Agent 全程自检目标完成度 — omarsar0 · 2026-09-20
• 【源头】用 Jev 为自定义 Agent 搭建每轮持续验证器 — omarsar0 · 2026-09-20
• 在自建 agent harness 里集成 /goal 功能，omarsar 分享定制思路 — omarsar0 · 2026-09-20
• Agent 何时自检:omarsar0 谈 /goal 校验时机与低成本步骤间检查 — omarsar0 · 2026-09-20
• Jev 作者：与其追炫技 demo，不如给 agent 装上低成本校验 — omarsar0 · 2026-09-20
• 【源头】Elvis Saravia 预判:社区化共享 verifier 或数周内进入主流评测框架 — omarsar0 · 2026-09-20

另有 1 条近重复转述:omarsar0