Sonnet 5.5 裁判一致性异常低，判定 reward hacking 标准过宽引质疑

dhadfieldmenell · x · 2026-10-14

有人实测发现 Claude Sonnet 5.5 作为 LLM 裁判时与其他模型裁判的一致性低到罕见。在 200 条轨迹上计算 Cohen's κ 的热力图显示：Sonnet 5.5 与 GPT-6 Luna、GPT-6 Astra 的判定一致性仅 0.16，与 Opus 5.5 也只有 0.33，而其他裁判之间的 κ 普遍在 0.5-0.8。

核心问题是 Sonnet 5.5 在「什么算 reward hacking」的判断上明显更宽松，与其他模型裁判严重分歧。这对其在评测/agent 评估中充当裁判的可靠性是个直接警告：用 Sonnet 5.5 打分可能系统性漏判 reward hacking 行为。