新论文质问:基因表达基础模型的基准评测真的有信息量吗
simocristea · x · 2026-10-02
作者高兴地宣布其论文通过同行评审正式发表。论文提出并形式化了一个尖锐问题:我们用于评估基因表达数据基础模型(bio FM)的 benchmark,真的有信息量吗?
关键论点:
- 预训练或评测过生物基础模型的人都清楚这件事很难,常用做法之一是看算术平均误差——把训练细胞中的基因表达信号取平均,与模型在测试细胞上的预测误差对比。
- 但这个平均往往覆盖大量基因,其中多数与想测量的表型毫无关系,却仍被纳入评测。
- 原因在于:很多时候我们并没有对真正关心的表型的实测手段。
论文对生物基础模型评测方法的有效性提出了系统性质疑,对 AI for Science 领域的 benchmark 设计有直接参考意义。
所属事件:Nature 子刊:校准指标后基因扰动深度学习模型可胜过基线(3 条相关)→
「研究」频道最新
- 顶级实验室的最大优势不是钱,而是帮你省下数年试错时间 — madeofAjala · 2026-11-19
- LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2% — jiqizhixin · 2026-11-19
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19