用行为检查认证LLM judge
sanmikoyejo · x · 2026-07-12
核心想法是：不要反复重新标注，而是用自动、可证伪的行为检查来“认证” judge。文中列出四类检查： 1. P1 Identity 2. P2 Bug monotonicity 3. P3 Spec monotonicity 4. P4 Stability 方法通过对任意 Lean 文件做受控扰动，在**不需要金标准标签**的前提下验证 judge 是否可靠。
sanmikoyejo · x · 2026-07-12
核心想法是：不要反复重新标注，而是用自动、可证伪的行为检查来“认证” judge。文中列出四类检查： 1. P1 Identity 2. P2 Bug monotonicity 3. P3 Spec monotonicity 4. P4 Stability 方法通过对任意 Lean 文件做受控扰动，在**不需要金标准标签**的前提下验证 judge 是否可靠。