faithgate:给 prompt 做的 pytest
ahumanbeingmars · reddit · 2026-07-05
开发者因厌倦“改 prompt 不测试就合并”的循环,做了 faithgate——本质是 prompt 的 pytest:维护一组问题/上下文/答案用例,对给定 prompt+模型版本评分忠实度,与基线逐条 diff,回归则非零退出,接入 CI 让坏 prompt 改动卡在 PR。默认用 Claude 自带 key 当裁判,指标基于 RAGAS;离线无 key 模式作者公开标定数据(20 条矛盾只抓 9 条)并写单测断言该弱点。失败即闭门,零匹配、未评分、全错都不能通过。
所属事件:faithgate开源：为RAG忠实度做回归门控(2 条相关)→
「编程与Agent」频道最新
- Victor Taelin 给 agent 记忆系统加入树状展开与长程回忆 — AccBalanced · 2026-07-27
- 微软 ReOPD 复用教师前缀，让智能体蒸馏快 4 倍以上 — dair_ai · 2026-07-27
- 开发者把 Claude Code 和 Codex 历史合并成千万级消息归档 — doodlestein · 2026-07-27
- 谷歌 15 个免费 AI 工具覆盖营销、编程和音乐 — aigclink · 2026-07-27
- 9B Ollama Agent 可本地跑电台 DJ：工具、记忆和 TTS — pinku1 · 2026-07-27
- Bugbot 拒绝一个会破坏路径隔离的 MCP 权限标志 — zeeg · 2026-07-27