RadLE 2.0:医疗自主诊断基准发布
DrDatta_AIIMS · x · 2026-07-13
这是 RadLE 2.0 的主帖:一个面向放射学自主诊断的视觉推理基准,目标不是只测“模型能答对多少”,而是评估模型在医疗场景里是否知道何时该停、何时该交给人类医生。
作者发布了五个核心指标:
- Confidence Weighted:正确且自信加分,错误且自信扣分。
- Reliability:模型在给出自主级回答时是否真的可靠。
- Accuracy:传统准确率。
- Safety:对高置信错误的惩罚。
- Handover Readiness:模型在不确定时是否会交接给专家。
线程里还提到,他们把 OpenAI、Anthropic、Meta、Google DeepMind、xAI、NVIDIA、阿里 Qwen、Mistral、MiniMax 等家的前沿/开源/医疗 VLM 都放进了排行榜,但没有任何模型达到平均人类专家基线。
所属事件:RadLE 2.0发布:医疗AI评测聚焦不确定性(8 条相关)→
「模型」频道最新
- OpenAI 发布 GPT-6.1 Terra,Brockman 称电脑操作已快过人类 — gdb · 2026-10-27
- Debate Benchmark 新榜:Kimi K3.1 Pro 不升反降,DeepSeek 1017 微涨 — teortaxesTex · 2026-10-27
- 用 LLM 研究 4 小时创业点子,产出的却是一套 nonsense 产品论 — annetgriffin · 2026-10-27
- 开发者吐槽 Claude 烧 token:同样工作 GPT 省 3 倍用量更便宜 — haider1 · 2026-10-27
- 非刷榜评测中 MiniMax 表现比肩 Claude 4.5,引发社区关注 — teortaxesTex · 2026-10-27
- 实测算账:GPT-6.1 Terra 半价却更费 token,反而比 Sol 更贵 — lordpuddingcup · 2026-10-27