Sentry 创始人盛赞 Opus 5.5:工程质量出色,并公开 agent 测试 fixture 设计

zeeg · x · 2026-10-02

Sentry 创始人 David Cramer(zeeg)表示最近对 Anthropic 的 Opus 5.5 印象深刻,认为在之前几版偏弱的发布之后,这个模型在工程任务上真正出色,并展示了 Opus 在其 getsentry/junior 项目中产出的代码。

附带的 GitHub issue 还披露了其 agent 测试方法论:所有 agent 测试使用一个小型 fixture,每轮都跑真实 agent 与真实模型,靠真实历史而非 mock 保持测试低成本。数据显示近半年 61% 改动 agent 代码的 commit 也改动了这些测试,此前有 8 种运行方式、11 种 fake 模型方式和 5 种以上加载历史的方式;且 fake 模型测试每次运行仍发出约 320 个真实的 AI Gateway 请求(每次 1.7–7 秒),是本地超时的主因。

所属事件:Sentry 创始人盛赞 Opus 5.5 工程能力(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →