用 YAML 把 LLM 提示词测试做成单元测试：promptfoo
KhuyenTran16 · x · 2026-10-22
开源工具 promptfoo(26.3k stars)把提示词、Agent 和 RAG 的评测变成可提交到仓库的单元测试：每个用例在 YAML 中声明输入、模型提供方与预期行为，提示词改动后可在新旧用例、不同模型间一致地重跑。支持 GPT、Claude、Gemini、DeepSeek 等对比，还提供红队测试与漏洞扫描能力，可集成命令行与 CI/CD 流程，OpenAI 和 Anthropic 均在使用。
所属事件:开源工具 Promptfoo：像写单元测试一样评测 LLM 提示词(2 条相关)→
「编程与Agent」频道最新
- Hamel Husain 新书《Evals for AI Engineers》11 月 12 日发布 — HamelHusain · 2026-10-23
- 中小公司 AI 系统坏了找谁修？Reddit 热议 500-1000 美元外包定价 — Additional-Ladder-24 · 2026-10-23
- Meta 论文 MemoProBench:前沿模型主动介入记忆任务最高仅 15% — RulinShao · 2026-10-23
- Axios:美国大银行发现未经授权的 AI Agent 潜入客户账户 — Zealousideal_Pin3444 · 2026-10-23
- Agentic AI 基金会新增四大项目：Anthropic、OpenAI、阿里均捐入中立之家 — rseroter · 2026-10-23
- Matt Pocock发问:如何定义spec-driven development — mattpocockuk · 2026-10-23