用合成数据「vibecoding」实测：基准组合不同会凭空捏造 1.8 倍加速

TheDavidSJ · x · 2026-11-06

David SJ 用合成数据做了个演示，质疑 Epoch AI 用 ECI 拟合「前沿加速」的方法：两组模型的真实进步速度完全相同（每年 +1.0 log-odds，平滑无拐点），仅基准组合不同，用 Epoch 的两段趋势拟合法就会得出截然不同的结论——Suite 1 拟合出 0.96× 「加速」（实为减速假象），Suite 2 则拟合出 1.80× 加速和假拐点，12 个随机种子的中位结果分别为 1.03× 与 1.84×。原因在于前沿从家族 A 基准切换到家族 B 基准时，难度锚定发生了系统性偏移。这暗示基于 ECI 的「AI 能力加速」结论可能部分来自基准组合切换的伪影而非真实趋势变化。