Hamel Husain 实测决策模型做 Evals:阈值调优可再涨十几分
HamelHusain · x · 2026-10-21
Hamel Husain 与 Antaripa Saha 合著新文，系统讲解如何用决策模型(TypeSafe Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions API 等)替代 LLM judge 做自动化评测。
- 阈值调优是最大杠杆：很多人直接用默认 0.50 阈值。实测显示 Perplexity 从 0.73 提到 0.79、Liquid d1 从 0.58 提到 0.79、Clef Flash 从 0.35 提到 0.78;OpenAI Decisions 达 0.87 最强。
- 成本差异悬殊：每 100 次 eval 运行，Perplexity 约 0.6¢,OpenAI Decisions 近 4¢,性价比需按场景权衡。
- 校准性问题：各家模型输出的概率普遍高估失败风险，经 Platt scaling 校准后明显改善。
结论：决策模型是低成本的 eval 替代方案，但必须按任务调阈值、按成本/性能/延迟需求选型。
所属事件:Hamel Husain 新文：决策模型做 Evals 别用默认阈值(4 条相关)→
「编程与Agent」频道最新
- LukeW 总结智能体软件五大 UI 难题:多智能体监控与协作设计 — LukeW · 2026-10-21
- 用 Claude Code 经 ADB 清理安卓电视:删 11 个应用、可用内存涨 90% — edwinarbus · 2026-10-21
- 小米电视被广告件拖到卡顿,开发者用 Claude 一键救回流畅 — edwinarbus · 2026-10-21
- 开源新模型 Ornith-1.5-122B 发布:SWE-bench 84.5%,单卡 DGX 可跑 — _akhaliq · 2026-10-21
- 用 Claude Code 给智能电视「瘦身」去广告成新 trend — edwinarbus · 2026-10-21
- Claude Code 隐藏设置 crossSessionInbound 被指是蜂群 agent 的关键原语 — kieranklaassen · 2026-10-21