评测机构与学界首次聚首：第三方AI审计生态仍各自为战

typewriters · x · 2026-10-28

作者与 SnorkelAI 在旧金山联合举办晚宴，汇集 OpenAI、Meta、Google DeepMind、NIST、METR、Epoch AI 等数十家机构的评测负责人。核心观察：多年来各方呼吁建立 AI 标准以促成「竞优」，但实际开发、部署和维护 benchmark 的私营与非营利组织彼此几乎不交流，也缺乏共享的评测框架。没有共享的测量工具知识，就无法判断 AI 系统是否达标。活动背景是 SnorkelAI 宣布 3000 万美元开放基准测试资助计划，以及 ARC Prize 首届研究峰会；现场还发现非营利侧有人从未听说过刚完成 3.5 亿美元 E 轮融资、业务依赖高质量基准的 Snorkel，凸显信息鸿沟。