RECTIFY 开源工作台:把 RAG 评测失败变成可验证的修复卡片
_reachsumit · x · 2026-09-16
- 论文 RECTIFY 提出一个开源 Streamlit 交互工作台,解决 RAG 评估器「只指出问题、不给修法」的痛点。
- 它会把评估出的失败案例先过滤掉无需修复的部分,再按失败族和细粒度切片路由,生成开发者可审阅、可批准/拒绝的「修复卡片」,并通过沙箱重跑来验证修复效果。
- 在受控 RAG 基准上的分析显示:BM25 主要触发噪声检索类修复,dense/hybrid 检索则留下更少的多部分欠检索和证据未用案例;预过滤能减少不必要的修复候选,切片级路由比粗粒度族级诊断产出更有针对性的修复卡片。
- 代码与工作台已开源,可直接将评测结果转化为可审计的修复决策流程。
「编程与Agent」频道最新
- TypeSafe Jev 实测：让 Grok Build 同任务成本降 22-40% — Daniel_Farinax · 2026-09-21
- jev-skill-suggester:用前置技能路由解决 Agent 调错工具问题 — udmrzn · 2026-09-21
- OpenClaw 推出 FaceTime 插件:你的 agent 能主动打电话给你 — steipete · 2026-09-21
- 花 3 天逆向 Instinct 记忆机制：极简设计，60 行代码可复刻 — julianweisser · 2026-09-21
- 实测 3 周日志:40% 编码 Agent 输入是无效开销 — Lucky-Group9525 · 2026-09-21
- Humanizer Academic 更新：一个文件去掉医学论文的 AI 味 — udmrzn · 2026-09-21