HF 研究者回应基因模型评测质疑：指 BioReason 存在答案泄漏
LoubnaBenAllal1 · x · 2026-10-23
Hugging Face 研究者 Loubna Ben Allal 回应学界对其基因组变异效应预测（VEP）模型评测的质疑：
- 数据污染：所有基准都做了针对训练数据的去污染处理，包括 DNA 序列重叠、文本重叠和同源性检查。
- BioReason 的问题：团队发现其部分 prompt 存在答案泄漏（answer leakage），已修复并将在发布评测代码时公开细节，同时已在对方 repo 开 issue。
- AlphaGenome 对比：对方也有 ClinVar 评测；自己的 FrontierVEP 任务是把 ClinVar 序列包进自然语言以适配 DNA+文本格式。
- TraitGym Mendelian：已在 Carbon-3B 上跑过，模型排名与其他 VEP 任务一致，欢迎社区通过 issue 推荐更多评测集。
所属事件:Hugging Face 开源 DNA 模型 Carbon-X，性能主张遭学界质疑(30 条相关)→
「模型」频道最新
- 爆料：Kimi K3.1 即将发布，号称 Opus 级但更便宜 — bindureddy · 2026-10-23
- 俄亥俄州立大学发布指南,直指微软 Copilot Cowork 预付积分制痛点 — YvesMulkers · 2026-10-23
- 曝 Google Antigravity 已上线 Gemini 4 Argon 与 Claude Opus 5.5 — weskambale · 2026-10-23
- 开源文档解析模型 OXR:1.3B 参数登顶三项基准 — JaynitMakwana · 2026-10-23
- OXR 的 RSI 训练闭环:让 VLM 自动解释错误并生成新数据 — JaynitMakwana · 2026-10-23
- OXR 线程补数据：三项基准全第一，100 页解析 101 秒碾压对手 — JaynitMakwana · 2026-10-23