探讨 Agent 评估中“密封沙盒”与“冻结评估协议”的语义边界

Kanu-animallover · reddit · 2026-08-21

文章讨论了 Agent 研究中“沙盒”一词的定义差异。通常沙盒指能力隔离，但在 AQuA 论文中，“密封沙盒”指的是一种评估契约：在研究循环运行前固定数据划分、特征/标签定义和评估器。验证反馈在迭代中可见，但最终测试集结果被隐藏，不用于排名候选者。作者指出这建立了一个有用的评估边界，但并非密码学意义上的隔离保证。文章探讨了是否应将“沙盒”保留给能力强制隔离，而将此称为“冻结评估协议”，以及在冻结-揭示程序之外是否存在其他访问控制。