斯坦福学者质疑 BioReason 基准存在数据泄漏与混杂
斯坦福学者 Anshul Kundaje 在 X 上公开质疑 BioReason 论文的评价可信度。独立评估显示,随机打乱输入序列后模型输出几乎不变,说明模型并未真正学到序列信息;他还指出该基准存在严重缺陷,提示词中存在各类数据泄漏,且即使 Hugging Face 团队修复了提示词,正负样本集合的选取仍然混杂,难以支撑论文结论。
2026-11-03 ~ 2026-11-03 · 2 条相关
- 学者质疑 BioReason 基准:随机打乱输入序列模型竟无反应 — anshulkundaje · 2026-11-03
- BioReason 基准被指存在提示词泄漏与样本选取混杂 — anshulkundaje · 2026-11-03