评测防作弊的关键：留出验证集噪声门槛而非聪明提示词

krishnan · x · 2026-11-11

作者拆解了一套严谨的评测流程设计：新方案只有在留出验证集上以超过噪声余量的幅度击败现有方案才算数，最终得分则来自只用一次的隐藏测试集。作者认为这套「验证门槛」才是最值得借鉴的部分，而不是那些看起来聪明的提示词。

同样重要的是固定不变的部分：被评测模型的权重全程不变(某些方案可以训练辅助模型，但没有模型改写自身参数)，评测器、数据切分和算力预算核算全部锁定——agent 无法触碰评分机制本身。