DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染

scychan_brains · x · 2026-10-26

Google DeepMind 宣布推出全球首个针对前沿专有模型的双盲评测（double-blind evaluation），核心思路是把外部评测限制在密码学安全的隔离环境中，模型事后无法利用这些测试题来针对基准做优化，从而解决基准污染（benchmark contamination）问题。此次试点与新加坡 AI 安全研究院、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境下用一个 Gemini Flash Lite 模型测试保密基准。DeepMind 强调，随着模型能力增强，确保模型未提前见过测试题是评测可信度的关键，外部压力测试是其内部评估之外的必要补充。