Snorkel 3000 万美元基准资助背后,评测专家们终于开始对话

typewriters · x · 2026-10-28

作者与 SnorkelAI 在 SF 合办了一场小型评测(eval)专家晚宴,参与者来自私营部门与非营利组织,围绕基准测试工具的开发、部署与维护展开交流。作者指出一个长期矛盾:业界都说「AI 标准会带来竞优(race to the top)」,但真正在做基准的一线专家彼此并不交流,也缺乏协作框架来扩展评测者生态;没有共同的测量方法学,就无法判断 AI 系统是否达标。晚宴安排在 SnorkelAI 宣布 3000 万美元开放基准资助计划之后、ARC Prize 首届 Research Summit(Boston)之前。