GEPA 重新测后仍有明显提升
strickvl · x · 2026-07-13
作者更正了自己前文提到的 GEPA 提升数据，发现之前的比较有两个问题： - 两个数字不是在同一批样本上测的，属于苹果对橘子，不能直接比。 - 更关键的是，之前那个 GEPA 分数本身还是 GEPA 自己算出来的：它在同一批 50 行上生成候选 prompt，并报告其中最好的分数。 于是他重新做了实验：同一模型、同一 reward、使用新的 GEPA system prompt，并且在 GEPA 从未见过的样本上测试。结果显示： - Baseline prompt：0.803 reward - GEPA prompt：0.968 reward - 提升：+0.166 他的结论是：这次结果看起来确实有真实信号，同时也提醒大家一定要搞清楚数字到底怎么来的，不然很容易发出事后更正。