99.9% 准确率可能等于零发现:类别不平衡下的评测陷阱
bravo_abad · x · 2026-09-17
作者用一个极端例子说明科学场景下「准确率」的误导性:假设 10,000 个样本中只有 10 个真正阳性,一个永远预测「阴性」的最简分类器准确率高达 99.9%,却一个目标事件都找不到。
核心论点:
- 在新物理事件、恶性细胞筛查、活性分子筛选等罕见事件问题中,正负类权重完全不等,准确率把每个正确决策等权计算,掩盖了彻底失败。
- 真正该问的是召回率(真实阳性中找到了多少)与精确率(判为阳性的里面有多少是真的)。
- 一个分类器完全可以在总体准确率变低的同时变得在科学上更有用——指标应服从科学目标,而不是反过来。
内容出自作者的书《Inteligencia artificial para estudiantes de ciencias》。
所属事件:学者警示类别不平衡下准确率的误导性(2 条相关)→
「研究」频道最新
- 曝 OpenAI 接近解决又一千禧年大奖数学难题 — Dr_Singularity · 2026-09-17
- 循环深度改写 scaling 指数:7.4B 模型省 20 倍算力匹敌 GPT-3 13B — andrewgwils · 2026-09-17
- Cell 推出 AI 与生物学专刊,覆盖虚拟细胞与自主科研 — EricTopol · 2026-09-17
- 研究者重新解读 Bitter Lesson:RL 的奖励仍靠人类智慧 — agarwl_ · 2026-09-17
- 普林斯顿机器人导论课程上线:视频、讲义、作业代码每周更新 — Majumdar_Ani · 2026-09-17
- Garcez 回应 Eric Topol:神经符号 AI 已有 20 年研究积累 — luislamb · 2026-09-17