Hamel Husain 长文：评测别默认 0.5 阈值，决策模型阈值要按任务调
HamelHusain · x · 2026-10-21
Hamel Husain 与 Antaripa Saha 发布长文《How To Use Decision Models For Evals》，系统讲解如何为任务选择决策模型（如 TypeSafe 的 Jev、Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef 等），并配了多张交互式图表：
- 核心主张：不要假设决策模型的 0.5 默认阈值合适，应根据任务重新调优阈值，并正确解读模型给出的分数。
- 转发者 Ganesh Iyer 补充了自己的实践：在家庭 AI 助手产品中用 Jev、阈值设为 0.8 基本可用，但倾向「召回优先于精确」——因为几次误报的代价只是一分钟延迟，而漏掉一次错误会耗尽家长的信任。
所属事件:Hamel Husain 发文讲解用决策模型做 Evals 与阈值调优(5 条相关)→
「编程与Agent」频道最新
- LLM 输出不确定性下如何放心上线？开发者求解结构化评测实践 — ssnuopi · 2026-10-21
- RunInfra 推出编程订阅计划：$10/月可用 19 个 agent 跑最快开源模型 — ycombinator · 2026-10-21
- Matt Shumer 推出邮件 AI 员工:发邮件派活,自动回邮交差 — mattshumer_ · 2026-10-21
- uv 与 ty 集成:PEP 723 脚本类型检查这样开启 — charliermarsh · 2026-10-21
- Astral 发布 uv-ty 实验性集成:uv check 一键类型检查 — charliermarsh · 2026-10-21
- 开发者自建效率追踪:用 Claude 后快 7.1 倍,两月攒下 2.5 工作年 — arthurcolle · 2026-10-21