Hospital-bench 医院运营基准发布:20 款模型跑 48 项任务,GPT-6.2 领跑但安全成短板
omarsar0 · x · 2026-11-21
zavoai 发布 Hospital-bench,一个测试 AI agent 医院运营能力的仿真基准:在含 13 个应用、131 个工具的模拟医疗系统里,处理保险核验、预授权、理赔、病历调取等真实行政流程。20 个模型各跑 48 项任务。
主要结果:
- GPT-6.2 Astra 以 62.4% 平均分居首;Claude Opus 5.5 完全通过的任务数最多(17/48)
- 安全是最大挑战:模型出现泄露受限病历、错误修改已支付理赔、越权操作等错误
- GPT-6.2 Astra 与 Gemini 4 Neon 没有因「有害行为」被判零分的任务,部分模型多达 10 个
结论:可靠且安全地完成跨系统的复杂工作流,对当前 agent 仍是重大挑战。
「编程与Agent」频道最新
- 用 CapCut 插件连 ChatGPT 自动剪游戏高光,粗剪后人工挑爆点 — iamfakhrealam · 2026-11-21
- 开发者用 Runway 视频接入 Hermes Agent,吐槽现在 agent 界面太无趣 — alexcovo_eth · 2026-11-21
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21
- DeepMind 展示 Gemini 4 Neon 按勃朗峰真实地形写滑雪模拟器 — GoogleDeepMind · 2026-11-21
- pstack v0.15.46 更新:skills 精简、Gemini 加入评审面板 — petrusenko_max · 2026-11-21
- Hamel Husain 力挺 evals 心法:好流程远胜好工具 — HamelHusain · 2026-11-21