BixBench3 评测发布:测模型生整篇生物论文分析
ZhongingAlong · x · 2026-08-27
Edison Sciences 发布 BixBench3,这是一个专注于生物科学的长周期评测基准。它旨在衡量模型从原始数据生成整篇生物学论文背后的分析能力。
- 任务规模:包含 20 个源自论文的任务,数据集规模最大达 241 GB,是目前已知跨度最长的生物学基准。
- 评测对象:测试了 13 个前沿模型。
- Agent 工作流:任务模拟了科学家使用 Agent 的流程——设定目标、规划方法,并委托 Agent 实施。
- 结果:表现最好的模型平均能复现 48% 的请求产物,表明 Agent 正接近研究级能力,但仍需改进。
所属事件:BixBench3 发布:前沿 AI 复现生物论文成功率约 48%(4 条相关)→
「研究」频道最新
- DeepPhylo 用深度学习推断系统发育树,摆脱恒定突变率等强假设 — anshulkundaje · 2026-10-15
- Wander 预印本提出图基础模型:随机游走接口统一图预测任务 — mmbronstein · 2026-10-15
- CHI 审稿人观察:AI 垃圾论文泛滥,但好研究依然在出现 — IanArawjo · 2026-10-15
- CMU 基准测试:135 篇 AI 代理科研论文 114 篇未过诚信审查 — arankomatsuzaki · 2026-10-15
- 让 AI 真正从经验中学习:资深从业者给出 8 条不可妥协原则 — tokenbender · 2026-10-15
- Benchling 发布 Science Foundries:智能体蜂群重塑科研工作流 — nlarusstone · 2026-10-15