实测打脸:极端类别失衡下 AlphaMissense 的 PR-AUC 接近零而非 0.9
anshulkundaje · x · 2026-09-19
- @ctokheim 补充对 AlphaGenome 争议的实证细节:做全外显子组测序(WES)分析时,阳性:阴性比例常达 1:100 甚至 1:1000,这种极端类别失衡会显著改变评测指标。
- 他过去在癌症 WES 中对 AlphaMissense 识别致瘤突变的实测显示,PR-AUC 接近零,而非论文里亮眼的 0.9——以此说明在高分与真实临床场景间存在巨大落差,呼应其对基准刷分的质疑。
「研究」频道最新
- PixelBench：用逐像素生成取代 QA,重新测多模态模型 — bdsqlsz · 2026-11-04
- Chollet 提问:单细胞如何仅靠基因组信息把自己连成大脑 — CatAstro_Piyush · 2026-11-04
- OffsecCyber 数据集发布：整合 HackerOne 报告与 CVE 训练渗透测试 LLM — AccBalanced · 2026-11-04
- 研究：「单次事实」占比决定 LLM 科学发现能力 — CatAstro_Piyush · 2026-11-04
- 把 TPU 编译进 Qwen 权重：0.8B 模型跑出精确矩阵乘法 — CatAstro_Piyush · 2026-11-04
- Jev 模型提升 LLM 上下文学习示例检索，蒸馏 MLP 降开销 — kalyan_kpl · 2026-11-04