便宜模型与前沿模型打平？原来是评测管线本身坏了

jonah_omninode · reddit · 2026-10-15

OmniNode 团队此前发现，一个本地小模型和一个贵得多的前沿模型在某项对比中通过/失败结果几乎一样，看似可以据此省钱。复盘后发现评测本身有问题：检查逻辑只 grep 式地查找预期标记，根本无法判断实现是否真的可用；另一次运行中推理模型在答完前就耗尽了响应预算，harness 配置问题被当成了模型失败。

两个结果都不能支撑原本的结论——便宜模型没赢得能力上的普遍性说法，贵模型也没获得公平的答题机会。作者现在的做法是：在比较分数前先区分「运行无效」和「答案错误」，并故意保留已知损坏的实现让 checker 必须拒绝，以此检验评测器本身是否可靠。