教授列融合 LLM 评测三大坑:测试泄露与记忆化检索
anshulkundaje · x · 2026-10-24
Anshul Kundaje 教授继续指出融合 LLM(基因组模型)评测的其他隐患:(b) 隐蔽的训练/测试泄露,可能以各种微妙方式发生;(c) 模型可能只是在暗中检索公开评测集中的样例——即「背题」而非泛化。加上前文提到的非功能性捷径依赖,构成对这类模型基准可信度的系统性质疑。
所属事件:斯坦福教授系统质疑融合基因组 LLM 评测体系(12 条相关)→
「研究」频道最新
- Immorta Bio 发布 AI 设计的九氨基酸肽 SenoMune-0257,靶向清除衰老细胞 — DavidmComfort · 2026-10-24
- 法国用 MLang 编译器重写税法,实现可验证的计税代码 — fkasummer · 2026-10-24
- 在消费级云端 GPU 上运行蛋白质设计模型 RFD4-Proteina — AllThingsApx · 2026-10-24
- SCOPE 论文:把自然语言策略编译成可执行神经符号程序 — 1982_miguel · 2026-10-24
- Humansand 高产一周:开源内核同时提升精度与速度 — gharik · 2026-10-24
- 138 页 QFT 与四维流形讲义发布:超对称扭量理论的数学视角 — fkasummer · 2026-10-24