FrontierCode 2.0 数据:Anthropic 模型多烧 2-3 倍 token,成本高 10-50 倍
teortaxesTex · x · 2026-10-28
Artificial Analysis 的 FrontierCode 2.0 基准(Cognition 出品,132 个真实开源仓库任务,以维护者是否愿意合并为评分标准)讨论中,一个被忽视的观察是:Anthropic 模型完全不在乎 token 消耗与效率。
据 Artificial Analysis V5 数据:
- 在前沿复杂度编码任务上,要追求最强性能,选 Anthropic 模型没有争议;但 Claude 系模型在 Frontier Code 2 类任务上生成的 token 量比其他模型多 200%-300%(测试时算力)
- 耗时约为两倍,成本高出 10-50 倍
- 开源模型经济性仍占优,且有通过更多测试时算力追平前沿性能的空间
配图为 Artificial Analysis 编码 Agent 指数的 token 用量分布:Claude Sonnet 平均 18.9M token 居首,DeepSeek、GLM、GPT-6.1-Terra 等从 9M 到 2.2M 不等,效率差距显著。发帖人还称赞 GPT-6.1-Terra 又高效又聪明,怀疑其有蒸馏突破。
所属事件:FrontierCode 2.0 榜单发布,隐藏模型 Obsidian 3 反超榜首(10 条相关)→
「编程与Agent」频道最新
- GitHub Copilot Fusion Max 降价近半提速 40%,直逼前沿水平 — 0xkarasy · 2026-10-29
- GitHub Universe 披露新架构:简化原语、存算分离、减少协调 — jennifermarsman · 2026-10-29
- Replit 提出「Agent 栖息地」架构:给企业级 AI 智能体划边界 — amasad · 2026-10-29
- GitHub Universe 2026:GitHub 全面转向智能体时代的软件交付系统 — martinwoodward · 2026-10-29
- VLM Run 新 API 结构化抽取提速 3.7 倍:字段并行读取、原生 PDF 支持 — spillai · 2026-10-29
- Drew Breunig 发布《上下文工程现状》演讲:六大策略全览 — rseroter · 2026-10-29