业界提出「领域迁移谬误」，主张基准测试应贴近真实任务

MattPerault · x · 2026-08-20

在关于 AI 评估市场增长的对话中，Vals.ai 的专家提出了「领域迁移谬误」(domain transfer fallacy)。他们认为，要让基准测试具备可信度，必须让模型在预期执行的真实世界工作中接受测试，而不仅仅是使用抽象的代理指标。更好的基准测试能为企业与政府提供更扎实的证据，以便为特定任务选择合适的模型。对话还涉及了评估工具的演进、独立评估对政府的重要性，以及如何从靠感觉评估转向基于数据的严格证据。