Anthropic 揭秘：基础设施噪音可导致 Agent 编程评测偏差超 6%
giansegato · x · 2026-08-29
Anthropic 工程博客指出，SWE-bench 等智能体编码评测受基础设施配置影响巨大。在 Terminal-Bench 2.0 测试中，资源配置差异导致的分数波动可达 6 个百分点，超过了榜首模型间的差距。文章探讨了资源限制（CPU/RAM）如何影响评测结果，并提出了校准资源以减少噪音的方法论。
「编程与Agent」频道最新
- 实测称编码 Agent 成功率一半靠运气:各模型随机性达 32%-52% — micahgoldblum · 2026-10-15
- 发推晒 agent 免提示词生成的每日情绪打卡小应用 — alifcoder · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- Hermes Agent 自行为独居爷爷搭建本地家庭安防系统 — NousResearch · 2026-10-15
- Ben Tossell 播客:非技术人如何用 Agent 上线生产代码 — msg · 2026-10-15
- decomp.dev 关停:新一代模型让反编译匹配从数年缩到数天 — banteg · 2026-10-15