AI Evals FAQ 更新至 48 问:新增敏感数据、大 trace、LLM 裁判等实操问答
HamelHusain · x · 2026-09-16
知名 AI 工程师 Hamel Husain 与 Shreya Shankar 更新了其 AI Evals 知识库 FAQ,新增 5 个问题,总计 48 问 48 答。该文档提炼自其培训过 700+ 工程师与 PM 的 AI Evals 课程,覆盖从基础概念到进阶实践的锐利观点。
本次新增的问题包括:
- 标注数据前是否需要参考答案或评分 rubric?
- trace 含敏感数据时如何做 evals?
- 如何审查一个特别大的 trace?
- 应该给 LLM 裁判多少上下文?
- 「金标准」eval 数据集过时了怎么办?
文档还系统区分了 model benchmarks(如 GPQA Diamond、Terminal-Bench、MMLU)与 product evals 两类评测,强调多数 AI 产品需要多套 eval 覆盖不同失败模式。对做 LLM 应用 eval 工程的团队是一份高密度参考。
「编程与Agent」频道最新
- Google API Gateway 现可作远程 MCP 服务器,零改动暴露 REST API — rseroter · 2026-09-16
- 把 Blender MCP 插件移植到 3.6 旧版，AI 一句话生成完整猫头鹰场景 — SpinachOk9137 · 2026-09-16
- Lyft 用 LangGraph/LangSmith 把客服 agent 交付周期从 6 个月缩到 1-2 周 — LangChain · 2026-09-16
- 纯文本状态喂给 AI Agent 玩《毁灭战士》,每秒 10 次决策成本约 7 美元/时 — hackgoofer · 2026-09-16
- 职业开发者发帖激辩:MCP 标准化工具层 vs 直接喂 REST API — Onmas · 2026-09-16
- 离职即失访问权：开发者痛失 5 年 commit 历史，无法用于训练个人 agent — DanielLockyer · 2026-09-16