Agent 基准测试两难:要真实就得联网,要可复现就别联网

davidmanheim · x · 2026-11-20

davidmanheim 指出 agentic benchmark 存在一个根本性取舍:真实性与可复现性难以兼得。如果被测的智能体系统可以访问互联网,测试环境会随网络内容变化而无法复现;但如果限制联网,基准又失去了真实性,无法反映真实使用场景。这个矛盾是当前 agent 评测设计的核心难题。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →