手把手掌握 LLM 评测：从读 100 条 trace 到建黄金数据集
datawithsuman · x · 2026-10-30
一条系统性的 LLM 评测（evals）学习路线，强调「先做错误分析，再谈指标」：
- 先造一个会坏的东西：别抽象地学评测，先做个有真实失败面的小应用——RAG 文档问答、text-to-SQL 或带工具调用的 agent，trace 比精致重要。
- 手工读 100 条 trace：把输入、输出、检索块、工具调用导进表格，用大白话逐条记失败原因，聚类并计数。多数人跳过这步，为不存在的问题建指标。产出物：一份带频次统计的失败分类表。
- 建版本化黄金数据集：从 Top 3 失败类别各取若干案例，加上 20 条正常路径和 10 条对抗样本，字段含输入、期望输出/评分标准、类别、难度、用户分群；入 git、每次改 prompt 都打 tag，保证分数可复现。
- 按显式维度生成合成数据：不要笼统让 LLM 出「测试题」，而是沿明确的失败维度定向构造用例。
核心主张：评测是 AI 工程里被最低估的技能，起步点是开放编码式的错误分析而非指标设计。
所属事件:AI 工程师热议：评测是被低估的核心技能(2 条相关)→
「编程与Agent」频道最新
- 「物联网的智能体」:一句话定义设备 Agent 的有趣类比 — sull · 2026-10-30
- Hermes 推出 inbox 插件：一条命令看清 Agent 全部后台任务状态 — Teknium · 2026-10-30
- Databricks 副总裁:Claude Code 只是开始,AI 软件工厂需新基建 — FinanceYF5 · 2026-10-30
- AgentWeb 让 AI 智能体免开浏览器办事：47 项实站任务全胜，中位 1.9 秒仅花 3 美元 — rohanpaul_ai · 2026-10-30
- 定理证明器与规约语言怎么选:Hillel 一文分清 Lean 与 TLA+ — burny_tech · 2026-10-30
- 用 Claude 写规格先行的自托管音乐应用,6 个月替换整套 arr 媒体栈 — CoderLuii · 2026-10-30