Arc Institute 方反驳「插值论」:56 条细胞系精心设计 holdout 验证
anshulkundaje · x · 2026-11-20
这是 Anshul Kundaje 与 Arc Institute 研究者 kjaganatha 争论的延续。面对「任何加权均值方法都是在训练集上插值」的质疑,kjaganatha 回应称这是稻草人论证:他们的目标不是对训练-测试相似度完全不变,而是让性能随相似度下降尽可能平缓地退化,并在约 56 条细胞系上精心设计了 holdout 划分来显式优化这一点。
双方分歧在于:批评方认为模型表现完全依赖测试样本落在训练集插值范围内,研究方则主张他们已针对相似度下降场景做了系统的泛化性设计。
所属事件:斯坦福教授连番质疑 Arc 细胞模拟赛冠军含金量(18 条相关)→
「研究」频道最新
- S1CogBench:24 项认知实验测「系统一」决策模型,快速决策普遍缺证据推理 — Dengzhe Hou · 2026-11-20
- KAIST 提出 AFFECT:让世界模型真正学会动作改变了什么 — John Won · 2026-11-20
- 清华联合多校发布 Mind2Act World 基准,180 项操作任务考验机器人心手脑协同 — Mind2Act-World · 2026-11-20
- 蚂蚁集团构建 Repo-Premium 基准:嵌入检索的优势多是评测假象,grep 补上标识符就能打平 — hq-bench · 2026-11-20
- ZeroVLN 免对 VLM 微调实现导航:语义工具调用+闭环 RL 优于 SFT 方法 — ZYT-AI · 2026-11-20
- Nature 子刊:呼吸节律动态调控人类感知,吸气时视觉敏感度更高 — AnnaCiaunica · 2026-11-20