评测阈值之争:有人提议只报 AUC 或增设 dev set 调阈值
antoine_chaffin · x · 2026-10-25
antoinechaffin 针对 AI 评测的做法提出改进建议：要么在评测中只报告 AUC(而非依赖单一固定阈值)，要么在 test set 之外额外引入 dev set，在 dev set 上为每个 eval 分别调整判定阈值，以避免阈值选择影响结论可比性。
这是对当前社区评测报告规范的一个具体方法论提议，指向阈值敏感性问题。
「研究」频道最新
- 经济学家论战 AI 时代经济学：实证主导难出大新理论,经验研究偏保守 — soumitrashukla9 · 2026-10-25
- 博主拟发布旧版 LisanBench 论文:去除知识组件后 OpenAI 模型规划力极强 — scaling01 · 2026-10-25
- OpenResearch 内置 Trackio:研究 agent 自动记录实验并根据曲线决定下一步 — udmrzn · 2026-10-25
- 帝国理工 EMNLP 论文：重复失配致小规模数据混合实验难以外推 — MarekRei · 2026-10-25
- Imperial NLP 携 6 篇主会论文亮相 EMNLP 2026 — MarekRei · 2026-10-25
- Google 研究员 Jon Barron 公开用 Gemini 写论文的完整工作流 — lmoroney · 2026-10-25