faithgate:给 prompt 做的 pytest
ahumanbeingmars · reddit · 2026-07-05
开发者因厌倦“改 prompt 不测试就合并”的循环,做了 faithgate——本质是 prompt 的 pytest:维护一组问题/上下文/答案用例,对给定 prompt+模型版本评分忠实度,与基线逐条 diff,回归则非零退出,接入 CI 让坏 prompt 改动卡在 PR。默认用 Claude 自带 key 当裁判,指标基于 RAGAS;离线无 key 模式作者公开标定数据(20 条矛盾只抓 9 条)并写单测断言该弱点。失败即闭门,零匹配、未评分、全错都不能通过。
所属事件:faithgate开源：为RAG忠实度做回归门控(2 条相关)→
「编程与Agent」频道最新
- 用去审查版 GLM 绕开 Claude 拒答： SS7 威胁建模工作流 — l4rz · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- GitHub Next 发布 Chopin:实时多人的 Agent 协作规划环境原型 — max__drake · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27
- 作者称全由 LLM 编写的 Rust 库 bbtree 实测：快是真的，省内存翻车 — lmoroney · 2026-10-27
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27