研究者炮轰 AI×Bio 基准：LLM 生成、LLM 评分的「基准垃圾」正在污染生物推理

anshulkundaje · x · 2026-11-13

@EganPeltan 发帖指出，前沿模型在生物学上经常犯简单的推理错误，他怀疑是文献与基准被污染所致。他吐槽大量 AI×Bio 基准的流程是「LLM 生成 → 『专家』审校 → LLM 做题 → LLM 判分 → LLM 总结」，质疑这种 benchmaxxing（刷基准）正在损害模型的生物推理能力。他强调好的生物基准对训练前沿模型必不可少，且细节极其重要：一个碱基、一个原子甚至一个立体中心的差别，可能就是通鼻塞剂和蛀牙的致幻兴奋剂之间的区别。