基因效应模型评测引争议:加权指标是否被评估数据反向绑定
anshulkundaje · x · 2026-10-06
基因组建模研究者 Anshul Kundaje 与网友就新评测指标展开技术讨论:
- 质疑方指出,新的加权指标实际上依赖于其要评估的测量数据本身,存在「用被评对象定义评分」的循环问题
- Kundaje 回应:加权指标对具有更强差异效应证据的基因的误差惩罚更重,权重确实由数据自身推导,但他认为这可接受
- 他补充:理想情况下,模型训练时就应使用能上权重关键信号的损失函数;由此,基线方法理论上也可以简单改用 WMSE 损失来提升成绩
讨论触及基准评测方法学的核心问题:指标设计与训练目标不一致时,横向比较可能失真。
「研究」频道最新
- 研究者警告：User Sim Index 评测可被轻松刷到 95% — ericzelikman · 2026-10-06
- 用OpenAI Dots智能体集群免费打破47年数学纪录 — jaxchang · 2026-10-06
- 斯坦福教授批虚拟细胞研究:现有实验设计撑不起因果模型 — anshulkundaje · 2026-10-06
- COLM 2026 将发布 TIDES 多方对话与多智能体协作数据集 — josephseering · 2026-10-06
- LakeQuest 论文明日亮相 COLM，专测表格文档混排的复杂 QA — hllo_wrld · 2026-10-06
- Snorkel 前沿数据峰会日程曝光：Chollet 领衔，十余个新 Agent 基准集中亮相 — StanfordAILab · 2026-10-06