Hamel Husain 实测六款决策模型做 Evals：调阈值比选模型更关键
Hamel Husain · rss · 2026-10-20
Hamel Husain 发文探讨用新兴的决策模型（TypeSafe Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions 等）替代 LLM judge 做自动化 evals 的实操问题。
- 测试设置：用公寓租赁 agent 的 100 条对话记录做二分类（找出预订失败、漏转人工等错误），统一评估标准，对比各模型的性能（与人工标注对照）与 API 成本。
- 核心发现：很多用户直接用默认 0.50 决策阈值而不校验，会浪费大量性能——即使模型区分度完美，错误阈值也可能一个错误都抓不到。作者演示如何用带标注的分数调优阈值（如最大化 F1，同时要求 precision/recall 均 ≥80%），并给出可直接给 coding agent 用的调参 prompt（分层五折交叉验证、复用已存分数、不达标时如实报告）。
- 结论：在本任务上 OpenAI Decisions 的类别区分度最好；模型选择和阈值调优都需结合业务的 precision/recall 权衡（类似刑侦重精确、癌症筛查重召回）。
文章还讨论了分数校准（calibration）如何让模型分数更可用作置信度估计。
「编程与Agent」频道最新
- Cal.com 日历 MCP Server 上架：AI 可直接增删改查日程 — modelcontextprotocol · 2026-10-20
- Ai Briefing MCP 连接器发布:让模型持续追踪行业动态 — modelcontextprotocol · 2026-10-20
- 用户让 AI 拉会议日程，几分钟后得到 1829 篇论文的 NeurIPS 定制规划器 — adcock_brett · 2026-10-20
- Agentic 搜索 API 横评：DeepSeek 搜索每千次 0.75 美元最便宜 — NirantK · 2026-10-20
- 开发者开源免费无鉴权 MCP Server:一条命令核查外链是否合规 — h____ · 2026-10-20
- 开发者自建工具：让 iPhone 与 Mac 之间实现 NameDrop 式传文件 — Scobleizer · 2026-10-20