自动化评测提示词引擎 Baseline
TrustyJalapeno · reddit · 2026-07-11
我们做了一个面向 **AI agent 提示词** 的自动化 QA / eval 引擎 **Baseline**，想邀请大家测试。 它的思路是把提示词当作需要做回归测试的软件来处理：用户先用自然语言写一个带权重的评分标准（例如 Accuracy、Tone、Resolution），系统再在评测集上自动运行、打分、改写提示词并重新评分，反复搜索更优版本。作者表示，示例里分数可以从 **0.62** 优化到 **0.94**。 目前产品还在 **limited beta**，他们希望找正在构建和“破坏” AI agents 的用户收集反馈，并提供 **30 天免费试用** 的访问码。