斯坦福学者警告:BioReason benchmark 存在信息泄露,别再用了
anshulkundaje · x · 2026-10-03
斯坦福教授 Anshul Kundaje 指出,所谓「多模态生物学推理模型」实际上名不副实;其配套的 BioReason benchmark 在任务定义上有严重问题,且 prompt 中存在信息泄露。他明确建议不要再用这些任务做 benchmark 或在其任务定义上继续构建工作。
所属事件:斯坦福教授 Kundaje 炮轰 AI×Bio 乱象与 NeurIPS 评审(14 条相关)→
「研究」频道最新
- Boltz Lab 首晒使用数据:分子 token 五个月暴涨 50 倍 — GabriCorso · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19