Hamel Husain 新文：用 Decision Models 替代 LLM judges 做低成本评估
ryunuck · x · 2026-10-21
Hamel Husain 与 Antaripa Saha 合著新文章《How To Use Decision Models for Evals》，讨论决策模型（Decision Models）在自动化评估中的应用。
- 决策模型近期集中爆发：TypeSafe 的 Jev、Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef，以及 OpenAI 的 Decisions API
- 这类模型主打快速、廉价的分类能力，被视为 LLM judges 在自动化 evals 场景下的低成本替代方案
- 文章讲解如何把决策模型用于 eval 工作流
所属事件:Hamel Husain 发文：用决策模型做 Evals，阈值别默认 0.5(7 条相关)→
「编程与Agent」频道最新
- 用 Claude 制定方案：实测廉价 SG90 舵机建模 MuJoCo 模型 — _Stocko_ · 2026-10-21
- 决策模型主诊+LLM 复核:SREGym 实验把故障诊断通过率提到 89.5% — tianyin_xu · 2026-10-21
- Autonomous 实测:Opus 规划+DeepSeek 执行的本地混合 agent 策略 — dee_hw · 2026-10-21
- Cloudflare「重造 GitHub」挑战赛决赛明日举行，冠军获 2.5 万美元额度 — dinasaur_404 · 2026-10-21
- 开发者打造共享修复库 yarrow:用沙箱验证与投票防 Agent 知识库变垃圾场 — Significant_Camp4148 · 2026-10-21
- mini-Lean-agent：纯 bash 最小 agent 在 Putnam 2025 拿 12/12，单题成本 1.28 美元 — wellecks · 2026-10-21