用 Jev 判断模型做六件事：核查脚本到诊断 Agent 失败
HamelHusain · x · 2026-09-18
Isaac Flath 分享了使用 TypeSafe 新发布的判断模型 Jev 的六类实战场景，并称这些都是他确信 60 天后仍会继续用的用法:
- 核查脚本事实：检查自己写的新闻脚本是否被原文支持，发现「半小时通话」实为通话前的准备时间等错误，24/24 全对，中位响应仅 0.41 秒(Gemini 3.5 Flash 为 1.68 秒)且更便宜;
- 新闻源排序：作为 LLM judge 给聚合的信息流打分排序，低于阈值的隐藏;
- 在 PDF 中定位正确文本;
- 核查引用;
- 归组评审笔记;
- 诊断 Agent 失败：对执行轨迹(traces)做 eval,找出 agent 为什么失败。
整体思路是：先从「小而无聊但有用」的任务做起，用判断模型替代慢且贵的通用模型做评测类工作。
所属事件:TypeSafe AI 发布决策模型 Jev：不生成文本、只输出结构化决策(73 条相关)→
「编程与Agent」频道最新
- 一个过期日期让 WhatsApp 回复 agent 静默罢工两天,19 条消息无人应答 — petrusenko_max · 2026-11-02
- 10倍工程师就是一个 SKILLS.md:六大工作流规则全公开 — mdancho84 · 2026-11-02
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Sketchy v0.1.6:图表输出比纯文本省 29% token — Nkgsporty · 2026-11-02