深度长文：AI 评估大多是扯淡，业务决策才是关键
hamostaf04 · x · 2026-08-02
X 用户 hamostaf04 分享了一篇题为《Evals Are Bullsht》的文章。文章指出，大多数 AI 评估（evals）只评判答案，而业务真正关心的是决策质量。评估看似客观，但往往无法回答关键问题：智能体是否完成了业务真正需要的任务？评分者（grader）可能给出一致的分数，但无法反映公司实际运作方式、哪些错误代价高昂，或最佳操作员会怎么做。文章呼吁重新思考评估方式。
所属事件:AI Agent 评估体系反思：业务决策重于文本输出(4 条相关)→
「漫话AGI」频道最新
- 探讨AI意识：强化学习与可微记忆或让AI觉醒 — beffjezos · 2026-08-03
- Gary Marcus 炮轰 AI 泡沫：能力被夸大，AGI 被偷换概念 — GaryMarcus · 2026-08-03
- Logan提醒:你对大模型指数级增长的押注可能还不够 — OfficialLoganK · 2026-08-03
- 汇总34份权威预测：AI风险预期正逐年恶化 — avoidthe9to5 · 2026-08-03
- 调查称 65% 员工怀念 AI 前时代，38% 想彻底抹除生成式 AI — VraserX · 2026-08-03
- AXRP 播客专访 Eli Lifland：深度探讨 AI 2027 趋势预测 — dfrsrchtwts · 2026-08-03