faithgate:给 prompt 做的 pytest
ahumanbeingmars · reddit · 2026-07-05
开发者因厌倦“改 prompt 不测试就合并”的循环,做了 faithgate——本质是 prompt 的 pytest:维护一组问题/上下文/答案用例,对给定 prompt+模型版本评分忠实度,与基线逐条 diff,回归则非零退出,接入 CI 让坏 prompt 改动卡在 PR。默认用 Claude 自带 key 当裁判,指标基于 RAGAS;离线无 key 模式作者公开标定数据(20 条矛盾只抓 9 条)并写单测断言该弱点。失败即闭门,零匹配、未评分、全错都不能通过。
所属事件:faithgate开源：为RAG忠实度做回归门控(2 条相关)→
「编程与Agent」频道最新
- Kernel 接入 Stripe Link：浏览器 Agent 一行 API 即可安全付款 — jeff_weinstein · 2026-09-11
- 同题 Echo Maze 实测:三大模型看似成功,代码里藏着同一个 bug — eyishazyer · 2026-09-11
- 3D 网站生成工作流公开：MCP 接 Codex，一句话出可玩游戏 — FellMentKE · 2026-09-11
- 用 GPT-6 Astra 加 Hyper3D MCP 免建模做 3D 落地页 — FellMentKE · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Codex 用户实测：Sol 搭配 Astra/Luna 子代理更省额度 — pvncher · 2026-09-11