ECI 榜单缺陷引争议:不加权基准下开源闭源差距可缩至约 2 个月
wenhaocha1 · x · 2026-11-02
@wenhaocha1 引用 scaling01 的说法——中国开源模型追了约 7 个月仍未赶上约 161 ECI 的 Mythos Preview——并提出自己对 ECI(Epoch Capabilities Index)的技术批评:GENERAL ECI 与 AA 等其他指数不同,各基准未做人工加权,导致结论对权重选择高度敏感。
- 他贴出按 Coding ECI 单独计算的开源/闭源模型追踪曲线:Claude Opus 4.8、Opus 5.5 领跑闭源,开源侧 Kimi K3、DeepSeek-R1 快速逼近,若认为编程更重要,开源与闭源的差距可被解读为仅约 2 个月。
- 配图还展示了用模型自己拆解 open vs closed 差距的分析思路:按类别的 ECI 重拟合 + 留一类别重拟合,看去掉每个类别后差距收缩多少。
- 核心观点:聚合指数的"差距几个月"结论取决于基准如何加权,读者应警惕单一总分叙事。
「模型」频道最新
- 仅调 0.001% 权重让 Gemma 3 270M 排序正确率从 1% 升至 97% — dejanseo · 2026-11-02
- SemiAnalysis 发布 GDPx 基准：最强模型 Claude Opus 5.5 仅得 12% — zephyr_z9 · 2026-11-02
- Asianometry 深度解析：智谱 AI 与 GLM 如何成为中国企业级 AI 冠军 — wren6991 · 2026-11-02
- 博主实测：Opus 5.5 设计能力远超 astra，堪比天才设计师 — tengyanAI · 2026-11-02
- Investment Arena 实盘赛:72 个 AI 交易员五天淘汰至 9 个,Grok 4.7 +3.9% 夺冠 — my_cat_can_code · 2026-11-02
- 重度用户数小时即触顶：AI 订阅限额引发真实需求之争 — RachelVT42 · 2026-11-02