斯坦福学者质疑热门基准：数据策划与质控过程不透明
anshulkundaje · x · 2026-09-03
基因组学与变异解读领域的知名学者 Anshul Kundaje 指出，许多流行 benchmark 存在严重缺陷，把来源各异的数据集拼在一起评估模型问题很多。他呼吁基准发布方明确公开每个基准的策划、质控与验证过程及其适用边界，这对模型评估的可信度至关重要。
所属事件:斯坦福教授称多数公开基准存在系统性偏差与质控缺陷(3 条相关)→
「研究」频道最新
- 技术圈质疑 Astra 循环架构:最可能只是每层跑两遍的调度 — mike64_t · 2026-09-03
- 研究者入选 Cosmos 计划，三个月攻关 LLM 思维忠实性 — hunarbatra · 2026-09-03
- Video Delta Net 让开源视频生成提速 75–90 倍，14 秒视频 11 秒生成 — xiuyu_l · 2026-09-03
- CoreAuto 发布神经网络架构自动发现新博客文章 — _arohan_ · 2026-09-03
- 研究者称其任务的强化学习「可能已被攻克」 — andrew_n_carr · 2026-09-03
- Pearl 回应 Harrell：RCT 新语言应检验其表达力边界而非强行推广 — yudapearl · 2026-09-03