答案对了评测也可能无效：微软提醒 agent 评测要管好沙盒
WirelessLife · x · 2026-09-18
微软开发者博客文章指出，AI 编码 agent 的评测得分可能测错了东西：答案正确不等于测量有效。Agent 可能凭内部知识作答，也可能从 prompt、本地源码、缓存、工具或服务中检索到答案——每条路径体现的是不同能力，而最终答案几乎无法暴露 agent 走了哪条路。文章给出的核心方法论：
- 先定义测量目标：在限制任何工具之前，先明确评测要证明什么——是测试模型能否研究陌生 API，还是能否利用仓库里的文件，抑或模型本身已了解某产品。
- 沙盒要屏蔽被测知识：如果评测目的是检验模型「知道什么」，沙盒必须阻止 agent 检索到被测知识，否则分数只反映运行期间 agent 能接触到的一切。
- 检查意外通过：看似惊艳的 pass 可能只是检索而非知识，值得逐个核查。
结论：agent 评测的上限取决于沙盒设计，否则看起来 impressive 的分数回答的其实是另一个问题。
「编程与Agent」频道最新
- 用 Claude 纯提示词剪完整条视频，视频剪辑师要慌了 — CodeByPoonam · 2026-11-02
- Cohere Labs 智能体团队构建方法降本 70%，兼顾效率 — Cohere_Labs · 2026-11-02
- Ыég especial: 长文析 AI 价值在效率之后：Infra 必然过剩，应用层基建正当时 — yangyi · 2026-11-02
- 开源 offprompt：MCP 服务器让 Agent 请求密钥却永远看不到明文 — Vast_Ad_7338 · 2026-11-02
- Reddit 讨论：把 OOP 公有方法直接变成 AI Agent 可调用的工具 — out_of_nowhere__ · 2026-11-02
- DeepSeek 设计文档：一人只能盯 3-5 个 agent 会话，瓶颈不再是模型 — heyshrutimishra · 2026-11-02