微软开源 Scope:量化 AI 编码 Agent 用不好你的 SDK 的原因
DanWahlin · x · 2026-10-20
微软 Developer Relations 发布开源项目 Scope，一个评估 AI 编码 agent 与开发者产品交互效果的平台（MIT 协议，基于 Kubernetes 构建，研发超过一年）。
核心问题：AI agent 正在成为软件的「用户」——它们发现 API、选择 SDK、读文档、调用工具；对人类开发者友好的产品体验，可能让 agent 选错 API、漏掉指令或中途卡死。微软将这一方向称为 DevAx（Developer Agent Experience），是对传统 DevEx 的延伸。
- 工作方式：给 agent 一个代表性任务，记录并检查其交互过程，改进产品或文档后重复评估，把学习变成持续循环
- 评估可靠性：模型、agent 运行时、skills、插件、MCP server、自定义指令都会影响结果，单次 CI 测试不够；Scope 以可复现实验的方式量化，判断标准是语义而非关键词匹配
- 用途：帮产品团队定位 agent 在自家 SDK/API/工具上具体卡在哪里，并度量改进文档和工具后是否真的有效
「编程与Agent」频道最新
- Coinbase 上线 Agent 交易:AI 可直接做多美股指数与加密永续 — MurrLincoln · 2026-10-20
- Google Cloud 提出 Agent Substrate：挂起/恢复成智能体核心原语 — rseroter · 2026-10-20
- 700 字节的 MCP 服务器：只报时间，零依赖秒启动 — kaphwor · 2026-10-20
- Anthropic 工程师公开 Opus 5.5 代码动画短片完整 prompt 心法 — dfeinition · 2026-10-20
- Meta 发布 ProPerAgent：记忆驱动主动助手准确率从 15% 提至 38% — dair_ai · 2026-10-20
- Claude Motion 动画一键发 Descript，配音字幕成片三步走 — descript · 2026-10-20