斯坦福教授质疑 Arc 虚拟细胞挑战赛:数据优势与方法优劣完全混淆
anshulkundaje · x · 2026-11-20
斯坦福教授 Anshul Kundaje 在 X 上公开质疑 Arc Institute 虚拟细胞预测挑战赛的设计,认为冠军方案存在数据访问优势(可接触他人没有的细胞系图谱数据),结果无法体现方法论优越性,数据优势与方法优劣被完全混淆,是挑战赛设计的根本缺陷。
- 被质疑的团队回应:测试集细胞系经过精心挑选——一个较接近、一个部分相似、一个完全未见过的类型,且数据是 Illumina 单细胞测序,与训练数据技术平台完全不同。
- 团队还称开发中做了大量消融测试(移除最接近的 N 个匹配),确保解法随新颖度提升而性能平缓下降。
- Kundaje 表示这不是针对团队个人,而是挑战赛设计本身的问题,并反问这场挑战赛到底在测什么。
一场关于 AI for Science 基准赛制公平性的高质量学术争论。
所属事件:斯坦福教授质疑 Arc 虚拟细胞赛冠军:数据特权还是方法优越(18 条相关)→
「Fun」频道最新
- 在浏览器里从零训练一个真实 LLM,直接看它成长 — morgymcg · 2026-11-20
- 从深圳杭州到新加坡,Omarchy Linux 社区出圈,小米平板也能跑 — juntao · 2026-11-20
- Mitchell Hashimoto:财富的意义就是把终端做得更好 — itsOmSarraf_ · 2026-11-20
- 创业者盛赞 Ramp CEO 讲故事功力:创始人最该学的一课是叙事 — KlausCodes · 2026-11-20
- 开发者用 Claude 管羊圈:AI 自动放羊关羊还能数头数 — repligate · 2026-11-20
- 不只是 SVG 覆盖层:AI 互动演示里手指真的戳进画面了 — AI_Andrew · 2026-11-20