Vik Paruchuri:连专家也难分辨基准测试设计好坏
VikParuchuri · x · 2026-11-17
Marker/元数据工具作者、Dyanimolous 创始人 Vik Paruchuri 回应 Hamel Husain 谈基准测试问题,给出四点看法:亲自看数据确实是关键;大多数基准设计得还不错;但即便是专家也很难区分设计好与设计差的基准;行业内存在大量粉饰结果与基准的动机。
「漫话AGI」频道最新
- Sam Altman 台上宣称「我们现在有 AGI 了」,称暂扣自我改进 AI — imjustnewatai · 2026-11-17
- 报告:美国算力是对华 9 倍,放缓前沿也未必输速度 — trevposts · 2026-11-17
- 开源模型token份额升至30%,企业用户使用增速追平闭源 — ivan_bezdomny · 2026-11-17
- Paul Christiano:最快 12 个月出现能推翻政府的 AI — Dwarkesh Podcast · 2026-11-17
- 「几十年后审你违停罚单的将是 250M 参数模型」,AI 法官段子流传 — ctjlewis · 2026-11-17
- 「非技术」与技术的差距只是缺前置知识,Claude 正在抹平它 — brandon_galang · 2026-11-17