AI 工程师忠告:把自建 evals 当一等公民才是项目成败关键
paulabartabajo_ · x · 2026-10-29
一位 AI 实验室从业者分享落地经验:解决真实业务问题不靠最大模型或最炫 agent 框架,而是把「评测(evals)」作为项目一等公民,并根据客户反馈持续爬坡。通用指标反而有害,会带来虚假的进步感。
他给出的可复现流程:
- 先实现客户期望系统的第一个可用版本
- 生成合成输入并计算输出(traces)
- 抽样 traces 归纳主要失败模式,形成「错误类别」
- 为这些失败构建简单的正则或 LLM-as-a-judge 评测
- 调整系统参数(prompt、工具、权限、检索步骤等)后重新评测
- 回到第 3 步循环
当错误类别集合停止增长,说明评测集已成型;沿着这些评测爬坡,AI 系统就会越来越贴近客户需求。
「编程与Agent」频道最新
- GitHub 新计费：Copilot 不再需单独订阅，账单随 Agent 用量走 — shashib · 2026-10-29
- 官方云端没有的本地版：开发者自制 ComfyUI Agent — FishermanLive8958 · 2026-10-29
- Open WebUI v0.12.5 发布：会话级用量分析上线，笔记支持多级页面 — caolonghua · 2026-10-29
- FaultFence 开测：17 个金融场景给 AI Agent 做攻防体检 — Miserable_Gas_1527 · 2026-10-29
- GitHub Copilot 公测图像生成，由 GPT Image 2.5 Flare 驱动 — caolonghua · 2026-10-29
- Anthropic 半年扫出 2.9 万个 Node.js 候选漏洞，人工复核仅约 6000 — dscape · 2026-10-29