Meta AI 负责人炮轰基准测试:把产品思维外包给了刷榜
benno_krojer · x · 2026-10-16
Meta AI 负责人抨击当前 AI 基准测试:「这些 benchmark 就是某个博士生做的」「你等于把所有产品思维外包给了这种病毒式传播的榜单」「这显然是错的」。
引用者 aleshuber 评论称,行业发展太快,根本没时间建立成熟的评测体系,公司只能用现成榜单,竞争者又被绑架在同一批基准上,部分榜单因此成了行业标准——意味着今天衡量 AI 进步的方式里有大量偶然与随机。回应者 Kenneth Marino 以「做过病毒式 benchmark 的博士生 + DeepMind Gemini 产品评测」的双重身份发推,称自己对此可能有独特视角(开帖为 thread)。
「公司和人」频道最新
- Cursor 面试就一道题：给台笔记本，两天做出个东西 — a16z · 2026-10-16
- 开发者工作坊心得：让人搭出你没教过的东西才算教会 — gethackteam · 2026-10-16
- 从业者观察：八成合作企业用 Databricks 管结构化数据难以迁离 — verrsane · 2026-10-16
- AI 黑客松里消失的工程信号：agent 包办一切引评审担忧 — rseroter · 2026-10-16
- Thinking Machines 的 Tinker 上线一周年：让普通人几行代码微调专属模型 — thinkymachines · 2026-10-16
- 研究员吐槽:公司发明显 AI 代笔的博客是对读者的不尊重 — nrehiew_ · 2026-10-16