Hamel Husain：为什么用二元 pass/fail 评测，别用 1-5 打分
HamelHusain · x · 2026-10-02
LLM 评测专家 Hamel Husain 解释为何推荐二元（pass/fail）标签而非 Likert 1-5 量表：
- 二元标签迫使标注者做明确判断、标注更一致，落地复杂度也显著更低
- 量表的问题：相邻分（3 vs 4）的界限主观且标注者间不一致；检测统计显著性需要更大样本；标注者倾向打中间分回避艰难决策
- 二元判定在错误分析时更快，不用纠结 3 还是 4
- 想追踪渐进改进，可用多个子项二元检查替代量表，如「5 个预期事实包含了 4 个」
- 建议：先用二元标签理解「差」长什么样，数字标签是进阶且通常没必要
「编程与Agent」频道最新
- Intent 推出 Stacks 界面，可视化查看与操控大量 Agent — LukeW · 2026-10-03
- WebMCP 让网页直接向 AI Agent 开放工具调用,告别截图点错按钮 — TejasKumar_ · 2026-10-03
- City Farmers 入选 OpenAI 首批 Codex Physical Builds，做室内种植智能体 — broodsugar · 2026-10-02
- SWE-sweep 新基准：考模型能否在用户踩坑前主动找出 bug — klieret · 2026-10-02
- 用 Claude Dot 的浏览器能力自动维护你的 Spotify 歌单 — pvncher · 2026-10-02
- 开发者试水「给 AI Agent 做的 AdSense」：免费搜索换广告分成 — Keats0206 · 2026-10-02