斯坦福教授质疑 Arc 虚拟细胞赛冠军:数据特权还是方法优越
11 月 20 日,斯坦福教授 Anshul Kundaje 在 X 上连续发文,公开质疑 Arc Institute 相关的虚拟细胞/Genophoria 预测挑战赛的获胜方案。他认为冠军团队(@kjaganatha,@suragnair 等人被点名追问)获胜的原因可能不是方法优越,而是数据特权与对数据结构的投机利用,榜单结果因此无法证明任何方法学贡献。冠军作者随后逐点回应,双方形成多轮交锋。
已确认
- Kundaje 的核心质疑之一是数据访问不对等:获胜团队可接触其他参赛者没有的细胞系图谱数据,数据优势与方法优劣被完全混淆,榜单成绩无法评估参赛者宣称的方法学贡献。
- 他的另一质疑指向方法本身:若结论对训练集与测试细胞系之间的相似度不敏感,方案要么是极度可疑的加权平均,要么是赌测试场景与训练场景足够接近、本质上是最近邻检索,而非真正泛化。他还强调「均值基线」本身就很强,而其「更大更强的兄弟」加权均值基线表现同样惊人。
- 冠军作者 kjaganatha 回应:其方法核心是「去噪加权平均」,在数据集与评估完全不变的条件下达到简单均值基线约 2 倍的性能;去噪与加权步骤本身即是方法学贡献,质疑者误解了方案真正起作用的机制。
- 针对「插值论」,kjaganatha 称这是稻草人论证:他们从未声称对训练-测试相似度不变,而是在约 56 条细胞系上通过精心设计的 holdout 划分,优化「随相似度下降性能尽可能平缓退化」这一目标。
- 关于数据结构利用的具体反驳:测试集完全留出了整类细胞系、不存在匹配;每条细胞系在预测中的贡献被限制在 10% 以内,无论与目标多相似都无法主导结果。作者还透露,简单均值基线持续击败最近邻方法(包括对最近 N 条细胞系取平均),因为平均带来的去噪收益超过纳入生物距离更远样本的代价。
- kjaganatha 对数据优势的表态:有人有算力优势,他们有数据优势,并认为这并无不妥。Kundaje 对挑战赛设计的回应并不买账,表示已看不懂其设计逻辑,并要求只有在所有参赛者数据访问一致的前提下才能讨论方法优劣。
- Kundaje 最后总结:这类方案赢得竞赛,恰恰印证了「利用数据结构和评测结构的聪明捷径方案往往能获胜」这一被反复观察到的现象。
尚未确认
- 获胜方案是否确实依赖训练-测试相似度或数据特权,目前只有质疑与辩解双方的说法,尚无独立复核结论。
为什么重要
- 该争议触及科学竞赛与基准评测的根本问题:当参赛者数据访问不统一时,排行榜无法区分「方法更好」与「数据更多」。若质疑成立,这类挑战赛的结论对虚拟细胞建模等领域的参考价值将大打折扣,也为今后设计公平基准提供了警示。
2026-11-20 ~ 2026-11-20 · 18 条相关
一手来源
- 斯坦福教授质疑 Arc Institute 模型:是在学数据结构而非生物学 — anshulkundaje ·
- 细胞模拟赛冠军回应质疑:核心是去噪加权平均,成绩2倍基线 — kjaganatha ·
- 作者回应质疑:细胞系贡献上限 10% 杜绝训练集主导预测 — kjaganatha ·
- 斯坦福教授质疑 Arc 研究所细胞模拟赛冠军方案是否真泛化 — anshulkundaje · 2026-11-20
- 斯坦福教授质疑 Genophoria 挑战赛:赢在数据特权而非方法优越 — anshulkundaje · 2026-11-20
- 斯坦福教授质疑 Arc 虚拟细胞挑战赛:数据优势与方法优劣完全混淆 — anshulkundaje · 2026-11-20
- 【源头】细胞模拟赛冠军回应质疑:核心是去噪加权平均,成绩2倍基线 — kjaganatha · 2026-11-20
- 方法核心揭秘:去噪加权均值性能达简单均值约 2 倍 — kjaganatha · 2026-11-20
- 预测方法细节:简单均值意外击败最近邻基线 — kjaganatha · 2026-11-20
- 【源头】作者回应质疑:细胞系贡献上限 10% 杜绝训练集主导预测 — kjaganatha · 2026-11-20
- 斯坦福教授:利用评测结构的捷径方案总能赢下竞赛 — anshulkundaje · 2026-11-20
- 参赛者回应质疑:去噪与加权是方法学贡献,基线性能 2 倍 — kjaganatha · 2026-11-20
- 斯坦福教授质疑虚拟细胞挑战赛无法区分方法优势与数据优势 — anshulkundaje · 2026-11-20
- "加权均值"攻破虚拟细胞挑战赛,教授称无生物学基础的作弊路径 — anshulkundaje · 2026-11-20
- AI竞赛挑战赛夺冠引争议:数据优势还是方法优势? — kjaganatha · 2026-11-20
- 学者质疑细胞系响应预测方法或存在训练测试集信息泄漏 — anshulkundaje · 2026-11-20
- 斯坦福教授质疑 Arc 生物学竞赛冠军方案靠训练-测试相似度取胜 — anshulkundaje · 2026-11-20
- Arc 研究者回应「插值论」:优化目标是相似度下降时性能平缓退化 — kjaganatha · 2026-11-20
- Arc Institute 方反驳「插值论」:56 条细胞系精心设计 holdout 验证 — anshulkundaje · 2026-11-20
- 【源头】斯坦福教授质疑 Arc Institute 模型:是在学数据结构而非生物学 — anshulkundaje · 2026-11-20
另有 1 条近重复转述:anshulkundaje