15 年老兵复盘:5 步为 RAG 应用搭起 61 例 Eval 评测套件
dl_weekly · x · 2026-10-28
DataTalks.Club 创始人 Alexey Grigorev 分享他为 FAQ 聊天机器人搭建 RAG 评测体系的完整流程。痛点:长 system prompt 改一处怕崩全局,「没有 evals 你就是盲的」,而大多数人没有从第一天记录 trace,建金标数据集成了永远做不完的梦。
文章给出 5 步端到端方案:
- 收集数据:在没有真实交互记录时,用代理数据(proxy data)起步
- 构建评测集:把历史失败案例转化为 eval case
- 构建评估器:代码检查 + LLM judge 打分
- 运行评测:61 例套件覆盖每次 prompt 或模型变更
- 闭环:在 Opik 中同时追踪成本与质量,让 prompt 重构有据可依
应用场景是服务 10 万+ 学员课程的 Slack 社区 FAQ 机器人,真实生产环境。
「编程与Agent」频道最新
- Warp 单 PR 成本从 80 美元降到 20 美元,吞吐量提升 40% — vikvang1 · 2026-10-28
- Meta 发布 2026 Python 类型调查全文:1794 份回应,一半人用多个检查器 — charliermarsh · 2026-10-28
- ty 至今无稳定版,Astral 作者自嘲"发个 stable 版该多疯狂" — charliermarsh · 2026-10-28
- 2026 Python 类型调查:ty 使用率从 16% 飙至 37%,逼近 Mypy — charliermarsh · 2026-10-28
- 数据降温 AI 焦虑：最强 agent 仅完成 30.3% 任务 — AIFlow_ML · 2026-10-28
- 一个提示词让 Grok 机器人选项变成点按式交互 — majidmanzarpour · 2026-10-28