坏judge也能骗过一致性指标

sanmikoyejo · x · 2026-07-12

转发线程中提到：一个故意做坏的 judge 仍能达到约 **0.45** 的人类 Spearman，但会在弱单调性测试上失败（12.5%）。这说明单纯看人类一致性并不足以发现某些系统性失效模式。