Anthropic 实测:基础设施配置可让编程评测相差 6 个百分点
giansegato · x · 2026-09-29
Anthropic 工程博客发布研究,指出基础设施配置本身就足以显著扰动 agentic 编程评测结果,差距有时超过排行榜前列模型之间的分差。
- 在内部实验中,Terminal-Bench 2.0 上资源最充足与最受限的配置之间成绩相差 6 个百分点(p < 0.01),而榜单头部模型往往只差几个百分点。
- 与静态基准不同,agentic 评测中模型要在完整环境里写代码、跑测试、装依赖、多轮迭代,运行时环境成为解题过程的组成部分——资源预算和时间限制不同的两个 agent 实际上不在做同一张考卷。
- Terminal-Bench 2.0 已开始按任务规定推荐 CPU/RAM,但「规定资源」不等于「一致地强制执行」,而且强制执行的方式本身也会改变基准实际测量的东西。
- Anthropic 在 Google Kubernetes Engine 集群上运行评测时发现自家分数与官方榜单不符,由此展开这项校准研究。
发帖人提醒:行业基准存在诸多难以完全控制的混杂因素,不必过度迷信榜单,直接试用模型是更好的判断方式。
「编程与Agent」频道最新
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16