AI 工程师被低估的核心技能:从错误分析到分层评测集的实操方法论
sudoraohacker · x · 2026-10-29
一位开发者发长文称评测(Evals)是 AI 工程中最被低估的技能，并给出可落地的方法论：
- 先做错误分析再定指标：采样 100+ 条生产 trace，对每个失败案例做开放编码标注，再聚类成失败类别并统计频次，Top 3 类别就是首批指标
- 建立带版本的黄金数据集：存储输入、期望输出或评分标准及元数据(意图、难度、用户群)，做分层抽样保证罕见但关键案例不被淹没，版本随 prompt 同步以保证分数可复现
- 按显式维度生成合成数据：定义 persona × 意图 × 复杂度 × 边缘案例等维度，以元组组合生成再转成自然输入，获得覆盖率而非 200 条近似重复的样例
「编程与Agent」频道最新
- Gemini 上线 Customize 中枢：统一管理自定义技能与关联应用 — sysrpl · 2026-10-29
- 新方法超 GEPA 约 14%：结构化搜索 + prompt 性能上限估计 — sanmikoyejo · 2026-10-29
- 苍何新书《Codex 从入门到精通》出版，面向新手实战教学 — lxfater · 2026-10-29
- 上交大 TAO 调度框架:工具感知使 Agent 服务延迟最多降 26.8% — AIOR-Research · 2026-10-29
- 网友用 Claude 一天写出完整 3D 大富翁游戏 — sysrpl · 2026-10-29
- Apple 论文：工具智能体训练,扩数据多样性比扩任务数更有效 — rohanpaul_ai · 2026-10-29