用 Opik 优化金融事故修复 Agent,评测分数从 0.34 提升至 0.57
dl_weekly · x · 2026-11-17
Comet 团队发布实战教程:如何在金融服务场景中评测并优化一个事故修复(remediation)Agent。背景:事故修复 Agent 在大型金融机构中持续监控系统、跨服务关联信号、定位根因并自动响应,但错误操作代价高昂(回滚错误服务、暂停商户打款、关闭欺诈检测都可能扩大事故)。方法:搭建一个模拟支付系统环境(API 网关、支付服务、欺诈评分、卡处理器、Postgres 账本、汇率服务、Redis 幂等缓存),故意以十种方式制造故障,用 Opik 追踪并评测 Agent 的调查与修复过程,再用 Opik Agent Optimizer 优化。结果:30 轮验证中总分从 0.34 提升至 0.57,并消除了不安全操作。
「编程与Agent」频道最新
- Jason Weston 两招提升 agent:harness 优化 56.0 分,蒸馏再涨 5.5 分 — jaseweston · 2026-11-17
- Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分 — jaseweston · 2026-11-17
- Every 实测 Claude Fable 5.2:适合做交互游戏,但慢且费 token — every · 2026-11-17
- 作者分享两套免费 Wan2.1 ComfyUI 工作流:原生版与 Kijai 进阶版 — asdfghmfker · 2026-11-17
- 别删语气词:保留犹豫填充词反而让模型一次出活 — brandon_galang · 2026-11-17
- Will Brown 长文:解 SFT、RL 与 on-policy 蒸馏的适用边界 — heghbalz · 2026-11-17