Topol 等发文：临床 AI 的「人在回路」正在沦为责任分配幻象
EricTopol · x · 2026-10-27
Eric Topol、Pranav Rajpurkar 等人在《Annals of Internal Medicine》发表观点论文《The Illusion of Oversight in Clinical AI: Human Out of the Loop?》，系统论证临床 AI 的「人在回路」名义上存在、实际已失效。
- 背景：2026 年 4 月犹他州医学委员会叫停了全美首个允许 AI 合法续配慢性病处方的试点；监管方此前以「每次转诊都有医生审查」作为安全架构证据，但该设计本就从前瞻审查转向了回顾抽样。
- 关键论据：作者提出功能性检验——如果医生不作为、AI 输出也照样生效（处方自动配药、诊断自动记录），系统就是事实自主的。保险公司 AI 平台平均每案只需医生 1.2 秒；某 ECG 服务年解读量超 16 万份，单月签发约 6 万次算法拒绝，逐一审查在数学上不可能。
- 自动化偏置有实证：随机试验显示，受过 AI 素养培训的医生在收到错误 AI 建议时得分反而更低（73.3% vs 84.9%）；药物相互作用警报约 90% 被无视；AI 起草患者回复使阅读时间增加 21.8% 却不减少回复时间。
- 与 ECG 先例的区别：ECG 算法输出结构化、故障模式清晰且可回顾追责，LLM 系统则输出开放自然语言、难以暴露故障，还编码了人类审查抓不住的人口学偏置，且可被输入内容对抗性操纵。
- 结论：当前「人在回路」不是安全机制，而是责任分配机制——制造商有动力名义上保留人类审查。作者提出有意义监督的三条件：输出有界、故障可回顾恢复、审查量与临床主张相称；并主张按实际运行行为而非名义分类设置验证阈值，坦承自主性而非掩饰它。
所属事件:Topol 新论文：临床 AI 的人类监督可能只是幻觉(2 条相关)→
「安全」频道最新
- Offensive Con 主题演讲：AI 攻防递归自改进，人类还剩什么角色 — moyix · 2026-10-27
- SAG-AFTRA 2026电视动画协议出炉：加薪12.6%并强化AI数字分身保护 — LexiLove · 2026-10-27
- Anthropic 让 Claude 自主做对齐研究：AAR 实验验证弱到强监督 — burny_tech · 2026-10-27
- METR 在华盛顿招政府事务政策岗，向国会传递 AI 失控风险评估 — CFGeek · 2026-10-27
- 警惕假 GitHub AI 项目:假提交+隐藏下载引流的骗局手法拆解 — Justify_87 · 2026-10-27
- 记者连夜梳理 Anthropic 风险备案文件语料 — nmasc_ · 2026-10-27