Benchmark Heaven 开源上线：聚合 800 模型跑分与真实任务成本

09-18，开发者 airesearch12 上线并开源 AI 模型评测聚合站 Benchmark Heaven（beta），项目免费、无广告、无融资。站点覆盖 100 项基准、800 个模型，把各家模型的基准成绩与调用价格放进同一张可交互的排名表，核心思路是让模型对比更贴近真实使用成本与行为。上线公告与后续介绍（m1–m12）为同一项目的多次发布，内容一致。

已确认

• 覆盖 100 项基准、800 个模型，提供一站式对比与综合 Composite Score
• 首创 Benchmaxxing 分数，用于衡量模型刷基准的倾向；有网友据此指出 DeepSeek 新模型「看起来有点刷榜」
• 提出按「每个真实任务的成本」对比模型：计入输入/输出 token、推理时间、供应商筛选等因素，而不仅看每百万 token 单价
• 读者可自由切换评分口径与视图，支持 Composite、AA Coding Agent、Design Arena Elo、Epoch ECIE 等多种分数维度，自称「最详细的成本–能力分析」
• 提供面向模型路由器构建的数据 API，整合四类数据：模型清单、按主题的能力评分（capability score per topic）、每类任务的实际成本，以及推理缓存价格；作者的 Jev 自动模型路由器即通过该 API 拉取数据，作者称这一整合方案目前独一无二
• 项目开源，作者称其是目前做模型对比最好的数据源

为什么重要

• 作者的核心论点是「每百万 token 单价是个谎言」：一个单价更便宜但思考时间翻倍的模型，实际完成任务的成本可能更高。这种按任务实际消耗计价的方式，为用户评估推理型模型的性价比提供了新视角
• Benchmaxxing 分数直面业界对模型刷分、过拟合基准的质疑，把「刷基准倾向」量化为可比指标
• 可交互、可切换口径的排名表加上开放 API（含能力评分、任务成本、缓存价格），方便第三方复用其成本–能力数据构建路由器等应用
• 免费开源、无广告无融资的定位，使其在商业评测站之外提供了一个可审计的替代选择

时间线

• 09-18：Benchmark Heaven beta 上线并开源，作者多次介绍其聚合能力、真实成本计价思路与 API

2026-09-18 ~ 2026-09-19 · 12 条相关

• 【源头】Benchmark Heaven 上线:100 项基准、800 模型、真实任务成本 — airesearch12 · 2026-09-18
• 【源头】Benchmark Heaven 上线：聚合 100 项基准、800 个模型，首创 Benchmaxxing 分数 — airesearch12 · 2026-09-18
• 「每百万 token 价格」是谎言：思考更久的便宜模型并不便宜 — airesearch12 · 2026-09-18
• 【源头】作者开源 Benchmark Heaven:按单任务真实成本对比模型,揭定价假象 — airesearch12 · 2026-09-18
• 一个 API 集齐模型能力评分、任务成本与推理缓存价格 — airesearch12 · 2026-09-18
• Benchmark Heaven 上线:按成本×能力全维度横评各家模型与供应商 — airesearch12 · 2026-09-18
• Benchmark Heaven 上线「刷榜检测」，量化榜单分与真实能力差距 — airesearch12 · 2026-09-18
• Benchmaxxing 警报：刷榜满分模型真实任务表现平平 — airesearch12 · 2026-09-19

另有 4 条近重复转述:airesearch12 · airesearch12 · airesearch12 · airesearch12