金融 AI 团队开源 Apgar：不用 LLM judge 也能发现 agent 版本回退
krstCB · reddit · 2026-11-04
做金融 AI agent 的团队开源了 Apgar，用于回答「这次发布是否比上一版更差」。他们的离线 eval 覆盖不了真实用户的所有问题类型，Langfuse 里的 LLM judge 太贵只能抽检小流量，部分故障因此漏过。
- Apgar 建在 Langfuse 数据之上，从生产 trace 识别发布版本，在新版本上线后头几小时对比新旧版本行为：每轮工具调用数、同一失败调用重试、循环、输出长度、每轮成本等 11 项指标
- 发布页双向展示指标变化；发现恶化时通过 Slack 和 webhook 告警，并定位变化集中处（如仅 Telegram 渠道、仅长会话）
- 不含 LLM judge，成本低到可覆盖全量流量；局限是若各项指标都正常则无法判断答案对错，仍需 eval 兜底
- 支持 Langfuse 或任何 OpenTelemetry 数据源，Docker Compose/Helm + ClickHouse 部署，Apache-2.0，提供 demo 数据可零接入试用
「编程与Agent」频道最新
- Salesforce 700 人 AI 团队自发从 Cursor 转向 Claude Code — aakashgupta · 2026-11-04
- AI 录屏工具 Wrap 开放内测：Agent 依据操作日志自动剪辑 — therealdanvega · 2026-11-04
- 独立开发者打造 Sparkboard：多 Agent 研究板会自主追线索数天 — HankYeomans · 2026-11-04
- 币安开发运维误从 Google 广告下载带毒 Homebrew 中招 — HankYeomans · 2026-11-04
- Reddit 用户用 Claude Opus 当导演拍 AI 电影:150 分钟仍需大量重拍 — MosskeepForest · 2026-11-04
- 开发者推 Sandchest:用「越狱模型」给你的代码库当驻队黑客 — JosephJacks_ · 2026-11-04