BioReason 基准被指存在提示词泄漏与样本选取混杂
anshulkundaje · x · 2026-11-03
Anshul Kundaje 继续质疑 BioReason：其基准测试存在严重缺陷，提示词中有各类数据泄漏；即使 Hugging Face 团队修复了提示词，正负样本集合的选取仍很可能存在大量混杂因素。
本条是对他前一条「随机打乱输入序列模型无反应」质疑的补充说明。
所属事件:斯坦福学者质疑 BioReason 基准存在数据泄漏与混杂(2 条相关)→
「研究」频道最新
- MOPD 成今年技术报告高频词：TRL 现已支持多教师在线策略蒸馏 — SergioPaniego · 2026-11-03
- RL 训练扩散模型长文：DPO 只能比较优劣，奖励函数才能定位错误 — kastnerkyle · 2026-11-03
- PretrainGym 开源:实测前沿模型挑选预训练数据的能力 — xeophon · 2026-11-03
- 论文揭示 GossipSub 等协议活性攻击：少量节点即可分裂以太坊网络 — chaumian · 2026-11-03
- 英国 AI4Science 生态图谱发布：聚焦「DeepMind 黑手党」孵化新公司 — ersatzben · 2026-11-03
- 两位研究者绘制约 600 家英国 AI4Science 组织图谱，VC 与政府看好但行业定义模糊 — ersatzben · 2026-11-03