研究:闲聊杂音污染 35% 病历,LLM 临床推理易被无关信息干扰
NYU-OLAB · hf · 2026-10-10
NYU OLAB 团队系统测量了 LLM 在临床场景中对「偶发信息」的敏感性,揭示了一个此前被忽视的失效模式。
- 在 576 段真实医患对话中,前沿模型把寒暄闲聊写入了 35% 的病历,不过病历质量均分变化不超过 0.20(五分制)
- 3.7% 的前沿模型病历错误归因了这些闲聊内容,甚至将其用于临床判断
- 在 57 次模拟问诊中,另一患者的背景语音(-10 dB)泄漏进 48.2% 的转录,四个开源模型生成的病历中有 5.3% 检出污染
- 作者提出「双重编码」假说:LLM 中被偶发信息干扰的组件,恰恰也是支撑临床推理的组件
结论:临床部署前应专门评估模型对偶发信息的抵抗力,并设计既防污染又不损害推理能力的防护机制。
「安全」频道最新
- LiveOverflow 提问:把 UUID 当静态 API 密钥与当 ID 有何本质区别 — rez0__ · 2026-10-10
- Anthropic 被指将 RSP 包装成「承诺」却规避法律约束力 — Miles_Brundage · 2026-10-10
- 知情人士曝 AI 实时监控画像已成现实,称仅是冰山一角 — Graham_dePenros · 2026-10-10
- 16 岁少年披露漏洞:微软 17 万亿条记录差点裸奔,赏金仅 $5k — rez0__ · 2026-10-10
- 律师:OpenAI 完全有办法公开三名安全研究员被解雇的真实原因 — GarrisonLovely · 2026-10-10
- 论文解码 31 万加密推理块,恢复出 367 条隐私与 182 个凭证 — DynamicWebPaige · 2026-10-10