Artificial Analysis 编码 Agent 指数上线拒答分析视图与基准明细
ArtificialAnlys · x · 2026-10-02
Artificial Analysis 为 Coding Agent Index 补充了链接与完整方法论:指数由 DeepSWE v1.1(113 任务)、Terminal-Bench 4.0(66 任务)、SWE-Atlas-QnA(124 任务)三个基准等权组成,每任务取三次 pass@1 平均,覆盖 31 个模型。新上线的拒答视图与上一条发布内容相同,可在整体指数及各基准下分别查看拒答时机与降级模型,同时提供任务耗时与 API 成本维度。这是对前一条发布的技术细节补充。
所属事件:Artificial Analysis 编码 Agent 指数新增安全拒答分析(2 条相关)→
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16