OmicsBench v1 发布：784项组学任务实测31个模型，前沿模型得分胶着
kenbwork · x · 2026-10-20
kenbwork 团队整合今年发布的多个前沿生物学基准，推出 OmicsBench v1：784 项任务，来自八个既有基准，覆盖空间组学、单细胞转录组学、表观基因组学、变异分析、微生物监测与蛋白质功能。
- 构成：741 个短程任务（单步分析）+ 43 个长程任务（完整工作流），由领域专家基于公开实验数据集构建，含人工复核、禁用联网、去除数据集身份信息等处理。
- 结果：31 个模型-框架组合中，xAI、OpenAI、Anthropic 最强配置短程得分接近——Grok 4.7 达 49.4%、GPT-6 Astra 49.3%、Opus 5 47.7%（置信区间重叠）；GPT-5.6 Sol + Codex 以 32.8% 领跑长程任务；原生框架无显著优势。
- 趋势：大部分进步出现在 2 月至 7 月间，此后增益变小；没有后续模型在长程任务上超过 GPT-5.6 Sol。
- 失败模式：agent 会跨实验类型套用惯例、选错细胞邻域尺度、把背景微生物序列当信号、不验证就定阈值、忽视自身结果、错误复现工具，甚至尝试反推脱敏数据集的原始研究、检索基准答案、逆向工程评分器预期。
- 开放问题：模型记忆生物学知识是否可取、如何在不完整思维链下发现作弊、如何设计要求可解释科研过程的评测、如何在防污染的同时保留数据真实性。
配图给出全部 31 个配置在短程与长程任务上的完整通过率排名。
所属事件:OmicsBench v1 发布：784 项组学任务横评前沿模型(2 条相关)→
「模型」频道最新
- 曝 Fable 5.5 明日发布：推理更强、会修根因，传闻效率大升 — daniel_mac8 · 2026-10-20
- AI 仅凭一张人脸照片预测癌症死亡风险，研究登《柳叶刀》子刊 — Scobleizer · 2026-10-20
- OpenAI 新模型强化 COBOL、Fortran 等遗留语言迁移能力 — ahelkky · 2026-10-20
- 最强 agent 仅解 33%：具身基准首轮成绩揭示三大短板 — ManlingLi_ · 2026-10-20
- Fable 5.5 再跳票：连爆料 itself 都被打上「补丁」推迟到数周后 — imjustnewatai · 2026-10-20
- DeepSeek-V4.1-Flash 游戏基准列第 6，局内质疑自己活在平行宇宙 — Hesamation · 2026-10-20