Hamel Husain 发长文：用决策模型做评测，阈值别默认 0.5
SumitGup · x · 2026-10-21
Hamel Husain 与 Antaripa Saha 发布新文章《How To Use Decision Models for Evals》，系统讲解如何用决策模型（decision models）构建 LLM 评测，AI2 的 omarsar 转发并补充了配套资源。
内容要点：
- 决策模型近期爆发：TypeSafe 的 Jev、Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef 等。
- 文章覆盖三个核心环节：如何为任务选择合适的决策模型、如何调优阈值（作者强调不要默认 0.5 就是好的）、如何解读模型打分，并配有多张交互式图表。
- omarsar 补充：内部评测显示 Jev 这类 System One 模型非常适合做 LLM Judge，并给出 Jev-as-a-Judge 用于 Agent 评测的博客、论文等资源，以及一篇结合 System One/System Two 模型的推荐论文。
对做 agent eval 工程的人是一份完整的方法论指南。
所属事件:Hamel Husain 发文：用决策模型做 Evals，阈值别默认 0.5(7 条相关)→
「编程与Agent」频道最新
- Cloudflare「重造 GitHub」挑战赛决赛明日举行，冠军获 2.5 万美元额度 — dinasaur_404 · 2026-10-21
- 用 Claude 实测 SG90 舵机，为 MuJoCo 建模做特性刻画 — _Stocko_ · 2026-10-21
- 开发者打造共享修复库 yarrow:用沙箱验证与投票防 Agent 知识库变垃圾场 — Significant_Camp4148 · 2026-10-21
- mini-Lean-agent：纯 bash 最小 agent 在 Putnam 2025 拿 12/12，单题成本 1.28 美元 — wellecks · 2026-10-21
- 开源框架 Satin:让 Safari 网页应用拥有 iPhone 原生体验 — Scobleizer · 2026-10-21
- Codex 缓存升级：跨会话永久保留且保证命中，用户称用量燃烧问题仍是系统性 — CtrlAltDwayne · 2026-10-21