Hamel Husain 实测六款决策模型做 evals:阈值默认 0.5 浪费性能
JosephJacks_ · x · 2026-10-22
Hamel Husain 与 Antaripa Saha 发布长文，系统讲解如何为 evals 选择决策模型（decision models）。此类模型近期的浪潮包括 TypeSafe 的 Jev、Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef 和 OpenAI 的 Decisions API，主打快速廉价的分类，是 LLM judge 的低成本替代。
测试设置：用 100 条公寓租赁 agent 的对话轨迹，任务是识别包含错误（如预订失败、未转人工）的 trace，各模型输出失败概率。测试对象包括 Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1 与 d1-ultra、Cloudflare Clef Flash、OpenAI Decisions（GPT-6 Luna）。
核心发现：
- 很多人直接用默认阈值 0.50 而不做校验，会白白损失大量性能，文中演示了如何针对任务调优阈值。
- 校准方面：Perplexity、Liquid d1、Clef Flash 经校准后更接近理想对角线——例如某组 Clef Flash trace 平均预测失败概率仅约 8%，实际却有 60% 含失败；Jev 与 Liquid d1-ultra 本身校准良好，几乎无需调整。
- Platt scaling 并非总是最优：OpenAI 的概率经其使用的 Platt scaling 版本处理后反而略变差。文中还给出可直接让 coding agent 执行校准的 prompt。
结论导向：决策模型能否替代 LLM judge 取决于成本、性能与延迟需求，文章给出选型、调阈值与解读分数的完整方法。
所属事件:Hamel Husain 发文教用决策模型做评测：阈值别默认 0.5(10 条相关)→
「编程与Agent」频道最新
- 用 Claude Artifacts 做个人小工具：学折纸、测验草稿 PR — every · 2026-10-22
- AI Agent 无人出镜做成 TikTok 图文矩阵，月播放破 1000 万 — PrajwalTomar_ · 2026-10-22
- 把 Claude Code 会话变成视频通话：开源应用 Agent Standup — stickygoose · 2026-10-22
- 微软 ScholarsEvolve:让 Agent 读论文自我进化,AppWorld 完成率 69%→81.4% — bendee983 · 2026-10-22
- KOL 曝某加密项目系骗局，建议用 Claude Code 会话做尽调 — econoar · 2026-10-22
- Claude Code 可视化教程仓库爆火,斩获 4.2 万星 — luongnv89 · 2026-10-22