零 eval 起步没问题:先定 UX,再和领域专家共建评测集
Al_Grigor · x · 2026-10-30
AlGrigor 转发并补充了自己对 AI 应用评测的实践建议:项目初期零 eval 是可以的,前提是你知道需要时怎么补建。要点:
- 先想清应用怎么工作、UX 是否成立。如果先投入做 evals 后才发现交互设计不对,评测就白做了。
- 该做评测时,拉上领域专家坐下来定标准——「好」的定义由他们决定。作者说自己做数据科学时,最有价值的事就是向模型服务对象学习。
- 引用了 Paul Iusztin 的文章:把 DataTalksClub FAQ 问答机器人的 RAG 应用从「凭感觉改 prompt」做到 61 个用例的可上线评测,共 5 个步骤。
所属事件:AI 工程师：把自建评测当一等公民才决定项目成败(2 条相关)→
「编程与Agent」频道最新
- AI 生成 RSVP 站点后，TestSprite 自主产出 35 项浏览器测试 — alexisjross · 2026-10-30
- OpenAI DevDay 社区场 11 月 21 日落地斯德哥尔摩，送 $150 额度 — paw_lean · 2026-10-30
- 微软 PPCC26 主题演讲：Work IQ 打通业务应用间的上下文孤岛 — donasarkar · 2026-10-30
- 用 Codex 把宠物照片变成三星 Frame TV 的连环画频道 — sch · 2026-10-30
- YC 转发推荐 Mirrors:实时发现并修复 AI Agent 反复犯的错 — ycombinator · 2026-10-30
- Perplexity Computer 新扩展可接管你已登录的 Chrome 浏览器 — AravSrinivas · 2026-10-30