先定维度再生成：Hamel 讲 evals 合成数据的正确姿势
HamelHusain · x · 2026-09-26
被问「生成合成数据的最佳方法是什么」，evals 专家 Hamel Husain 给出结构化答案：
常见错误是直接让 LLM「给我一些测试查询」，结果得到泛化、重复的输出。正确做法是先定义维度（dimensions）——描述用户查询不同侧面的类别，再组合成查询，跑通整个应用并审查 trace。
- 何时用：生产流量不足时先做错误分析，或测试真实数据中罕见的已知失败模式。
- 局限：合成数据无法告诉你失败在生产中有多常见，也可能遗漏专业领域的关键细节；一旦有真实数据就应尽快对比校验。
- 示例：菜谱应用的维度可以是饮食限制、菜系、查询复杂度；客服机器人可以是问题类型、用户情绪、先前上下文。从失败假设出发，缺乏直觉就大量使用自己的应用或找朋友试用。
「编程与Agent」频道最新
- kaigen3d设计原则:代码优先运行时+用户控制帧循环 — gdechichi · 2026-09-26
- 开发者发kaigen3d引擎:Minecraft测试跑330FPS且全端运行 — gdechichi · 2026-09-26
- 数据可视化专家把图表研究做成开源 agent skill — randal_olson · 2026-09-26
- 吴恩达:AI 项目过早引入严格测试,只会让它原地卡死 — DeepLearningAI · 2026-09-26
- Peter Steinberger:编码不用 Claude,靠 Codex 加 OC harness — steipete · 2026-09-26
- 用 AI 审查近千个本地音乐视频：文件名与内容比对可行吗 — SkipMorrow · 2026-09-26