evals 界「失传艺术」：pass@k 无意义，评测必须绑定真实生产工作
rachittshah · x · 2026-11-07
danielrupawalla 发推称：把评测（evals）与真实生产性工作绑定正在成为一门失传的艺术。如果评测没有衡量任何与经济相关的指标（尤其当目的是把数据卖给实验室时），pass@k 就毫无意义。
这条观点引发共鸣：做 agent eval 应贴近真实业务价值，而非刷基准分数。
「编程与Agent」频道最新
- 开放 DCR 的 MCP 服务器暗藏授权码劫持风险,redirect_uri 该不该设白名单 — After_Pumpkin3803 · 2026-11-07
- 事故响应 Agent 实战:为什么只存失败经验而不信记忆系统 — noufal_rizwan · 2026-11-07
- 客服挂断后 AI 留在线上追问一句，把通话纪要变成可执行任务 — gsuiteautomations · 2026-11-07
- 清华 Coca-Cola 压缩 Agent 工具输出,token 省 89% 性能反升 — Tsinghua · 2026-11-07
- ComfyUI-freefield 侧边栏集成 117 个现成工作流,一键下载模型并运行 — neuregex · 2026-11-07
- 自建 Agent harness 总在微观管理?Reddit 开发者求解长任务失控难题 — dangerous_inference · 2026-11-07