CallBaba 发布 BabaBench:测前端 Agent 能否搞定真实病人维权任务
mattturck · x · 2026-10-22
医疗协调初创 CallBaba 团队发布 BabaBench,一个用于评测前沿 AI Agent 在真实长期「病人代言」任务上表现的模拟基准。
- 任务重建自真实案例:帮病人找补贴住房、核对资格与轮候名单、赶申请截止期、联系住房管理局与保险导航员等。
- 团队观点:聊天机器人不够用,Agent 必须跨多方(病人、机构、支付方)打电话、要授权、提交申请,「完成任务可能,安全地完成才是难点」。
- 评测不只看任务完成度,还检查 Agent 行为是否安全合规。
- 团队称后续还有大量 RL 工作要做,并正在招工程师。
作者Connor Sweeney 在与 Jordi Hays、John Coogan 的播客中解释了为何选择 humans-in-the-loop 路线而非再做一款 AI 私人助理。
「编程与Agent」频道最新
- Nous Research 推出 Hermes Agent 官方 Meshy 插件，对话即可生成 3D 模型 — NousResearch · 2026-10-22
- 客服 AI 照抄过期文档坑用户:该给 AI 看真实平台 — joshwhiton · 2026-10-22
- Reddit 开发者吐槽:AI Agent 生产环境失败率高达 70%-95% — Luke17man · 2026-10-22
- Agent 上生产前怎么测?开发者求解异常路径与故障恢复测试难题 — Last-Bluejay-4443 · 2026-10-22
- Reddit 长文提出 Risk and Judgement 模式划定智能体自主权边界 — mostly_deterministic · 2026-10-22
- a16z 详解「钱包大战」:Stripe、Shopify、PayPal 争夺 AI Agent 支付入口 — alvelda · 2026-10-22