安全顾问实测：两家厂商的 AI 护栏对 40 条相同输入给出 11 条相反判定

WolfShoddy7443 · reddit · 2026-10-07

一位独立安全顾问在客户评审中对同一 agent 分别使用托管与本地两套护栏系统，跑 40 条完全相同的输入，两套系统在 11 条上判定不一致且难分对错。他向两家厂商咨询其余案例的分类标准，得到两套各自自洽但完全矛盾的解答，均言之凿凿。引入第三套系统做仲裁后，它又在其中 6 条上与前两者都不一致。

作者的核心结论：目前护栏判定不存在公认的真值（ground truth），业界找不到任何带标注的护栏判定数据集，这一空白是安全落地的真实痛点。