新 benchmark 加入单样本趋势跟踪，模型两个月内进步很快
jyangballin · x · 2026-07-27
这条帖在介绍一个新的 benchmark 思路：除了看整体分数，还可以看 per-instance 的趋势变化。
作者称它在 cost 和 turns 两项上的曲线表现很好，并强调这个 benchmark 才发布 两个月，模型已经出现了很明显的进步。核心结论是：别等了，尽快拿它来评测。
所属事件:ProgramBench新增Pareto曲线追踪模型进步(3 条相关)→
「模型」频道最新
- Looped Transformer 从头训练更优，两次 pass 最划算 — jm_alexia · 2026-07-27
- Nebius 为明天的 Kimi 发布做准备，招聘影响更大 — demian_ai · 2026-07-27
- Claude Opus 5 在 VoxelBench 排第三，距第一仅差 30 Elo — legit_api · 2026-07-27
- 一条转发强调：开源模型和开放权重不是一回事 — RisingSayak · 2026-07-27
- ProgramBench 新增 Pareto 曲线，两个月内模型进步明显 — jyangballin · 2026-07-27
- 开源模型之争正变得阵营化，信心已超过证据 — matt_slotnick · 2026-07-27