AI 评估不能只看基准
841io · x · 2026-07-15
这段线程在讨论：**只评估孤立的 AI 系统是不够的**，因为真正上线后，系统会和工具、API、内部流程、人工决策等依赖一起构成更大的整体。 作者还强调了两点： - AI 模型会越来越具备**个体级和群体级的自适应能力**，例如个性化和隐式反馈，因此“模型到底是什么”会变得不那么清晰； - 评估单个系统的实验结果，无法覆盖当大量 agent 同时运行时出现的**群体层面效应**，无论好坏。 最后他指出，标准制定机构很重要，但不应只停留在基准测试或实验室测试，因为现阶段 benchmarks 很脆弱，难以真实反映系统风险与行为。