FAQ 机器人不敢改 prompt？数据课团队加 evals 五步闭环
Al_Grigor · x · 2026-10-21
Alexey Grigorev（DataTalksClub 课程团队）为课程 FAQ 机器人踩坑后的教训：没有 evals，你就是盲改。机器人上线后小修不断堆积，system prompt 越来越长越乱，想清理却怕一动就坏。
于是他给系统加上评测，Paul Iusztin 将其整理为 5 步案例：
- 收集数据（哪怕从没做过 trace）
- 构建评测集（最终 61 个用例）
- 编写评估器
- 在 eval harness 中运行
- 闭环迭代
核心观点：从「凭感觉的 vibe check」走向可以依赖其决定是否上线的量化分数。
「编程与Agent」频道最新
- 独立开发者用 Opus 一次上线邮件产品 8 项功能，附送达率实数据 — marclou · 2026-10-21
- 19个月跑出6000+集无人新闻视频，靠的是eval而非模型 — jwdNyc · 2026-10-21
- 用 Grok Bot 做实体产品原型：草图到 RFQ 一条龙 — elonmusk · 2026-10-21
- 主观任务评估实操路线图：人类标注加 LLM 裁判降噪三步法 — cwolferesearch · 2026-10-21
- Maven 推出免费 AI 搜索系列课：Late Interaction、MUVERA 与 Wormhole 向量 — CShorten30 · 2026-10-21
- Agent S4 让智能体自进化界面：开源 27B 模型 OSWorld 超 GPT-5.5 — dair_ai · 2026-10-21