静态评测集会过期：RAG 评测应做成随知识库更新的流水线
paulabartabajo_ · x · 2026-10-30
作者针对多数团队用静态 (问题，答案) 对基准评测 RAG 系统的做法提出批评：知识库数据持续变化（新增、更新、删除文档），静态评测集在知识库一变时就失效了。
给出的修复方案是把评测集当作流水线而非静态资产：
- 直接从知识库自动生成评测数据集
- 每次知识库变化时重新生成
- 在新数据集上重跑评测
配图展示了完整架构：知识库 + 多样化输入查询 → 黄金数据集生成流水线（同时产出知识库问题清单 knowledgebaseissues.json）→ 供客服 Agent 与系统参数参与的评价流水线使用。
「漫话AGI」频道最新
- 一份值得收藏的 AI Newsletter 清单：从 Simon Willison 到 AI by Hand — bibryam · 2026-10-30
- 路透研究院9国调查：生成式AI正从工具变为信息基础设施 — _FelixSimon_ · 2026-10-30
- 牛津研究提出「幸福红利」：纳税人资助了 AI 繁荣，理应分享回报 — SandraWachter5 · 2026-10-30
- 比尔·盖茨称 AI 将取代数百万岗位，软件开发者历史经验说不必然 — DavidLinthicum · 2026-10-30
- 法国网友体验 AI 家教：会等孩子打完喷嚏再说「保重」 — clemnt · 2026-10-30
- 前沿 AI 公司在职与离职员工将举行 11 月 2 日同伴式安全对话 — sebpaquet · 2026-10-30