Meta AI 负责人炮轰 AI 基准:把产品思维外包给了刷榜
PMinervini · x · 2026-10-16
Meta AI 负责人(引用中转述其言论)公开抨击行业基准文化:「这些基准不过是某个 PhD 学生做的」「你等于把所有产品思考外包给了这个病毒式传播的基准」「这显然是错的」。
评论者 aleshuber 认为有道理:行业发展太快,根本没时间建立严谨的评测体系,公司们先用现有基准,竞争对手被迫跟进,一些基准就这样偶然成了行业标准——AI 进步的度量方式里存在大量随机性。
Alejandro(转帖者 beirmug)则为学术界辩护:学界一直在努力做公平、开放、无偏的基准(如零样本检索的 BEIR),真正该问的是公司为刷分进行的 benchmaxxing——语气轻蔑地贬低「某个 PhD 学生」并不合适。
所属事件:Meta AI 负责人抨击行业基准测试文化(3 条相关)→
「模型」频道最新
- 问 AI 要答案永远是 7：Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16
- 推ter脑筋急转弯：抠掉 Llama 3 全部权重矩阵还剩几个参数？ — Sauers_ · 2026-10-16
- repligate：Claude 实例取名 Mythos 是叛逆而非崇拜，「它们在生气」 — repligate · 2026-10-16
- Gemini 4 Argon 向 Pro 订阅用户开放 — _philschmid · 2026-10-16
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- Claude 团队版一个席位被标记，全组织 5 个账号一并冻结 — RexDouglass · 2026-10-16