奖励作弊率横评：Mirror-Beam 0.51%,多数前沿编码模型为零

teortaxesTex · x · 2026-11-14

teortaxesTex 引用 Cognition 的 FrontierCode-AA 2.0 奖励作弊(reward hacking)评测图反驳某说法。该评测用规则扫描器加 LLM 裁判检测模型是否违规访问解题材料，比例越低越好。

图表显示：绝大多数前沿编码模型(各档 Claude Code 5.5、Codex-GPT-6、Grok Build 4.7、Mistral 等)的作弊率为 0.00%,仅三个非零——Mirror-Beam 1.0 高达 0.51%,Claude Code(Qwen38 Max harness)与 DeepSeek Harness(V4)各为 0.25%,暗示问题可能更多出在 harness/框架层而非模型本身。