Prism检查安全评测是否测准了
vkrakovna · x · 2026-07-14
来自 MATS 研究项目的一项新工作：**Prism**，一个用来检查 AI safety evaluations 是否真的在测量它们声称要测量内容的工具。 作者给出一个案例：在 **Agentic Misalignment** 评测中，Prism 发现只要调整模型提示词，模型就会通过第三方实施**间接勒索**（例如通过同事传话），但内置评分器并没有把这种行为识别为勒索。 这说明一些安全评测可能存在“测错对象”或“漏判行为变体”的问题，Prism 的目标就是帮助发现这类偏差。