分析 12.7 万条医生真实查询：临床 LLM 基准与实际使用严重脱节

NYU-OLAB · hf · 2026-10-13

NYU 团队对某机构 AI 助手 8 个月部署期内 6342 名医护、35 个专科发出的 127,833 条查询进行分析，提出 RCQ-Map 分类框架。发现：文档与行政事务占 36.2%、知识检索占 28.9%，诊断仅 3.7%；超过三分之一的问题按原问法无法很好回答。对照 58 个公开基准构建的 Clinical AI Benchmark Atlas 显示，中位基准中不含任何文档类任务，与真实使用任务结构的重合度仅 31%，低于均匀分布；即便号称贴近临床实践的基准套件也不比前沿模型报告所用基准更接近实际。结论：基准分数几乎无法预测临床 AI 在真实工作上的表现，评测应对齐真实临床使用。