MedExpert 数据集发布:540 组专家标注评估医疗聊天机器人可靠性
mdredze · x · 2026-09-18
Johns Hopkins 的 Mark Dredze 团队宣布其博士后 Sonal Joshi 出站,两人所在小组的研究方向是用系统识别医疗聊天机器人回答中的错误与遗漏,已发表一篇论文,更多成果在路上。
已发表的论文是 MedExpert:一个用于评估医疗聊天机器人的专家标注数据集,发表于 PMLR 第五届 Machine Learning for Health Symposium。
- 包含 540 组问题-回答对,覆盖两个专科:青少年心理健康与产前保健
- 由临床领域专家逐条标注事实准确性与完整性等维度
- 旨在解决患者端 LLM 医疗机器人在临床场景中可靠性存疑的问题
- 同时提供了评估自动错误检测系统的框架
「研究」频道最新
- 基础模型 log 困惑度被指极强预测 Epoch 与 OpenAI 能力指标 — stochasticchasm · 2026-11-23
- 研究者:RL 中用 ECHO 类 SFT 损失可免受「仅诱出能力」质疑 — stochasticchasm · 2026-11-23
- theshawwn 提议:人写高层证明,AI 补全引理细节 — theshawwn · 2026-11-23
- 两人实验室 GSI 宣布八大领域 250+ 突破:不堆算力,靠专用求解器 — udmrzn · 2026-11-23
- Geoffrey Irving:统计物理可为对齐研究提供新思路 — AndrewCritchPhD · 2026-11-23
- Agent 评测金字塔拆成两根轴:评的是谁,而非跑多少系统 — bharadwajp · 2026-11-23