开发者呼吁 OpenAI 独立评估应建成市场而非少数机构小组

arthurcolle · x · 2026-09-14

开发者 arthurcolle 在回复 Sam Altman 时提出：当前最需要评估的不只是模型本身，而是围绕模型的 harness 与 agent 生态，尤其在不同领域的 AGI 用例中——少数几家机构覆盖不了这么大的面，市场可以。

他针对 OpenAI 的 Independent Evaluators 计划指出，目前参与的只有 METR、Redwood 等少数机构，「那是一个小组，不是一个生态」。他主张独立评估应成为训练管线之上真正的市场：机构可以针对具体行业垂直领域构建、购买和出售 evals，同时需要强大且健壮的开源 evals 社区。