BiomedSQL 发布:首个生物医学文本转 SQL 基准,最强模型仅 58.1%
DanielKhashabi · x · 2026-09-30
约翰霍普金斯大学团队在 arXiv 发布 BiomedSQL,首个针对真实生物医学知识库、显式考察科学推理能力的 text-to-SQL 基准。
- 数据规模:68,000 组「问题/SQL/答案」三元组,基于整合基因-疾病关联、组学因果推断与药物审批记录的 BigQuery 知识库
- 考察重点:模型须推断领域隐性标准,如全基因组显著性阈值、效应方向、试验阶段筛选,而非纯语法转换
- 结果差距大:Gemini-3-Pro 基线提示下执行准确率仅 58.1%,团队的多步 agent 方案 BMSQL 达 62.6%,均远低于 90.0% 的专家基线
该基准为衡量 LLM 科学推理能力提供了新基础。
「研究」频道最新
- DexTaG：用人类触觉示教引导 RL，机器人学人类式用工具 — gan_chuang · 2026-09-30
- AnyBokeh：无需清晰图，直接在模糊照片里重编辑景深 — ccloy · 2026-09-30
- DynaRobotics 用 Isaac Sim 大规模 RL 训出轮式机器人全身控制器 — zhengyiluo · 2026-09-30
- Google 研究:SFT 路径多样性选择可提升 RL 后泛化最高 16.9 点 — google · 2026-09-30
- Rowmax-H15:B200 上注意力前向最高提速 25.8% — illinois · 2026-09-30
- LeRF 框架教 VLM 建参考坐标系，突破视角理解瓶颈 — UIUC-CS · 2026-09-30