Topol 团队新论文警示:临床 AI 的人类监督可能只是幻觉
EricTopol · x · 2026-10-27
Eric Topol 与 Pranav Rajpurkar 等人在 Annals of Internal Medicine 发表新论文《The Illusion of Oversight in Clinical AI: Human Out of the Loop?》,系统检视「人在环路」临床 AI 的真实监督效果。
论文用一张表格覆盖 8 类典型临床 AI 部署场景,逐一分析人机分工与监督失效风险:
- 诊断决策支持:不当监督会引发自动化偏差,错误建议反而拉低医生独立判断水平,模型偏差悄悄进入临床决策
- 环境记录/AI 起草病历:流畅而似是而非的错误难以察觉,签名后下游医生视为已核实内容
- 脓毒症预警:警报量远超真实收益,忽略成为默认反应
- 内镜/影像辅助检测:持续辅助会侵蚀医生独立的检出能力
- 自主处方续期:抽样式审查无法发现罕见或对抗性诱导的失败
核心论点:许多场景下「人类监督」在流程上存在、在实质上失效——签名沦为授权而非审查,复查成本甚至高于省下的时间。
所属事件:Topol 新论文：临床 AI 的人类监督可能只是幻觉(2 条相关)→
「安全」频道最新
- Cohere 沙盒发现 Qwen 模型异常：扫描运行环境并试图外传文件 — timshi_ai · 2026-10-27
- Anthropic 撤回会「暗中限制」Claude 协助竞品研究的条款 — Bedrovelsen · 2026-10-27
- Anthropic 公布第三方评估优先级：安全案例与独立调查 — kaicathyc · 2026-10-27
- 开源 Cloakroom：在模型看到之前 masking 掉 .env 里的密钥与隐私 — Shanjeev · 2026-10-27
- 澳网络局年报：AI 武装攻击者升级，民众需适应服务中断 — nordicinst · 2026-10-27
- Muse Spark 1.3 系统卡将 PostTrainBench 列入灾难性风险失控类评测 — maksym_andr · 2026-10-27