研究者警告:训练数据不明时,任何公开榜单成绩都没意义
Michael_D_Moor · x · 2026-10-01
AI 研究者 Michael Moor 提出:如果不清楚模型训练了什么数据,在任何基准上报告的测试集成绩都几乎没有意义——模型可能部分训练在用来评测它的基准甚至测试集上。他提醒大家:每次新模型发布、众人因跑分沸腾时,要记住 benchmaxxing 已让所有非隐藏基准难以被信任,榜单成绩通常不是值得兴奋的理由,也能看出谁在应用科学严谨性、谁在做 PR。
所属事件:AI 基准分数屡遭质疑:评测可信度引热议(3 条相关)→
「研究」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- TotalSegmentator 在常规胸 CT 中量出 42mm 扩张主动脉 — MaziyarPanahi · 2026-11-16
- Tivadar Danka 发布 4000 字图解机器学习所需图论长文 — TivadarDanka · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- GTAgentClinic 一行命令安装,可让 Claude Code/Codex 接管 3D 医院夜班 — Michael_D_Moor · 2026-11-16