微软发布 DevAX:实测发现新模型编码质量更差、token 贵 12 倍

DanWahlin · x · 2026-10-19

微软发布 Developer Agent Experience (DevAX) 网站与方法论,主张「编码 agent 的最佳实践在度量之前都只是猜测」,并给出实测数据:

• 新模型未必更好:在架构类任务上,更新的模型完成任务数与旧模型相同,但中位质量更低、token 消耗是前者的 12 倍。
• 反直觉发现:让 agent 把 CLI 参数合并为一个 JSON payload 传入,任务成本增加 4–11 倍且正确率从未提升;换最强模型只涨 1 分,成本却高 5.6 倍。
• 改进文档即改进 agent:一个 SPFx 升级案例中,仅修复 agent 已在读取的文档,配置检查通过数就从 30/80 提升到 83/85。

配套的 AX Practitioner Playbook 覆盖从建立基线、度量修复效果到计算每任务成本的完整流程,可作为 skill 安装:npx skills add microsoft/scope/docs/ax-playbook/ax-practitioner。

原文链接 →

「编程与Agent」频道最新

• Agent 专用浏览器 ego lite 登陆 Windows:共享你的登录,各用各的标签页 — alex_verem · 2026-10-20
• 周末 DIY：用两块 RP2040 做 roadie 板，让 AI agent 操控手机 — hugs · 2026-10-20
• Google 演示 Gemini 4 Argon：一张桌子照片生成可玩 3D 赛道游戏 — CurieuxExplorer · 2026-10-20
• UCSD CarryOn:靠上下文管理让 agent 省 52% token 反而更准 — mark_k · 2026-10-20
• 「意图是分形的」:科学家求职帖浓缩Agent开发四大难题 — RexDouglass · 2026-10-20
• 研究者拆解4大机制:完美委托Agent为何在数学上不可能 — RexDouglass · 2026-10-20

更多「编程与Agent」频道 AI 资讯 →