Anthropic 揭秘：基础设施噪音可导致 Agent 编程评测偏差超 6%
giansegato · x · 2026-08-29
Anthropic 工程博客指出，SWE-bench 等智能体编码评测受基础设施配置影响巨大。在 Terminal-Bench 2.0 测试中，资源配置差异导致的分数波动可达 6 个百分点，超过了榜首模型间的差距。文章探讨了资源限制（CPU/RAM）如何影响评测结果，并提出了校准资源以减少噪音的方法论。
「编程与Agent」频道最新
- 网友实测：GPT 很擅长构建 Omarchy 原生应用 — BLUECOW009 · 2026-08-29
- 手把手教你搭实时语音 Agent：STT+LLM+TTS 流式管线 — Arindam_1729 · 2026-08-29
- Conductor 推出多人协作，支持云端运行编码 Agent 团队 — charlieholtz · 2026-08-29
- Zod 4.5 发布：内存占用减少一个数量级 — DanielLockyer · 2026-08-29
- 解决 Cursor 兼容性问题：仍可通过 API 使用 GPT 模型 — VraserX · 2026-08-29
- MCP 协议爆发式增长：Vercel 工具调用三月涨 564% — jasonkneen · 2026-08-29