RAG 评测驱动开发实战:eval 用例存 Git,失败即补测
Al_Grigor · x · 2026-10-15
工程师 @AlGrigor 分享他为 DataTalksClub 搭建的 AI FAQ 策展流水线的评测方法,主张 eval harness 不必复杂:
- 评测用例存 Git 作为唯一事实来源(图中显示 61 个用例的版本化数据集)
- 可单跑某个用例或整个数据集
- 用 Comet 的 Opik 追踪分类准确率、位置放置准确率和成本,每次运行都有 trace(问题、检索文档、决策、成本)
- 上线前与基线对比;目标不是 100% 通过率,而是确保今天的修复不破坏昨天已工作的行为
流程是 eval-driven development:发现失败 trace → 人工修正(Slack 回复/PR review)→ 沉淀为 eval 用例(用例 ID 对应 GitHub Issue)→ 修 prompt 或数据 → 重跑失败用例直至通过 → 跑全量测试集,指标没回退就发布。附完整流程图。
「编程与Agent」频道最新
- Burkov 预言应验:厂商正用 git 历史训练修 bug 的编码模型 — burkov · 2026-10-15
- Cohere 研究：一群小模型协作即可达到前沿级软件工程表现 — Cohere_Labs · 2026-10-15
- 12 个 GitHub 仓库让 Claude Code 更懂项目、并行会话、自动开发闭环 — Roger_M_Taylor · 2026-10-15
- Composio 推出 Instant:让 Agent 自己掏钱包按次付费买工具 — mhdfaran · 2026-10-15
- 开源工具 AgentPlay 把 Claude Code 会话变成可回放时间线 — SimplyAnnisa · 2026-10-15
- 一条 Prompt 复现顶级动效：WebGPU 软体碰撞球完整提示词公开 — dreamwieber · 2026-10-15