BabaBench 基准发布：前沿模型尚难胜任真实医疗协调工作
aidangch · x · 2026-10-15
医疗协调公司 Baba 发布 BabaBench，衡量前沿模型在真实医疗协调任务上的表现。与「订个挂号」式的演示不同，该基准测试的场景是：能否赢得一位说西班牙语的糖尿病女性的信任，帮她完成 Medicaid 申请、找到安全住房，并顺带劝她选 12oz 而非 16oz 的含糖饮料。
基准的合成世界由 Baba 内部数百名医生、治疗师、护士和社会工作者的专业标注构建。初步结论：AI 单独尚无法替代人类护理协调员。
「研究」频道最新
- MiniMax 论文里的 CISPO:为什么保住纠错 token 就能稳住 RL 训练 — andrew_n_carr · 2026-10-15
- 为何 RL 难有 scaling laws：预训练优化 loss，开放式优化面向整个光锥 — akbirthko · 2026-10-15
- zPocket 开源发布:共折叠特征将口袋预测 AUPRC 提至 0.745 — LotfiSanae · 2026-10-15
- 500 问实测 Gemini:点名产品时 78% 联网搜索,只描述需求时仅 7% — MattWags_33 · 2026-10-15
- NCM 新范式：比扩散语言模型快 31 倍且质量更优 — simonguozirui · 2026-10-15
- UC Berkeley 获 Google.org 170 万美元资助，用 AI 加速医学发现 — 2plus2make5 · 2026-10-15