学者质疑 BioReason 基准：随机打乱输入序列模型竟无反应
anshulkundaje · x · 2026-11-03
斯坦福学者 Anshul Kundaje 在 X 上公开质疑 BioReason 论文所获评价的可信度。他指出，最新的独立评估显示，把输入序列随机打乱后模型输出几乎没有变化，说明模型可能并未真正利用序列信息。
他还补充称，BioReason 的基准测试存在严重缺陷：提示词中存在各种数据泄漏，即使 Hugging Face 团队修复了提示词，正负样本集合的选取也很可能存在大量混杂因素。这是一场值得关注的学术打假式争论。
所属事件:斯坦福学者质疑 BioReason 基准存在数据泄漏与混杂(2 条相关)→
「模型」频道最新
- 曝 DeepSeek V5 将几乎全程用华为昇腾芯片预训练，摆脱英伟达 — kimmonismus · 2026-11-03
- MIT 研究:AI 直接改权重,0.016% 参数让小模型数学从 7.9% 升到 48.1% — rohanpaul_ai · 2026-11-03
- Schmidhuber 泼冷水：权重编辑早是 1990 年代快权重编程的旧帽子 — SchmidhuberAI · 2026-11-03
- 「GPT-6 改权重提升 6 倍」遭打脸：实为消融方向向量，非编辑权重 — IanArawjo · 2026-11-03
- NorthCUA-Pro 以 93.3 分刷新 ScreenSpot-Pro 纪录,超 GPT-6 Astra — NielsRogge · 2026-11-03
- 神秘模型 Pulse Alpha Free 现身 OpenCode：百万上下文、暂免收费 — mark_k · 2026-11-03