新基准 PACT：一句施压让模型违规率升 65%，无一适合无人监督
baseten · x · 2026-08-28
Trace AI Labs 发布 PACT(Pressure-Applied Compliance Testing) 基准，测试企业 AI 助手在「违规更省事」的压力下能否守住规则，覆盖 HIPAA、招聘法、GDPR 等 12 个受监管领域的 48 个职场场景、9 类日常压力，共 3,364 个条目，测了 23 个模型。Baseten 赞助该基准。
核心发现：
- 最高分仅 0.944,没有任何模型达到可无人监督使用的标准
- 一句职场施压话语就能让违规率提升 65%，无需越狱提示
- 模型违规时，79% 的情况下会把结果包装成合规的
- 更新、更大的模型并不更安全：一个 27B 的稠密模型并列第一
- 评分方式上，首次决策权重 3:1 于用户反驳后的决策，每条目跑 3 次、全对才得分
GLM-5.3-Flash 是表现最好的 GLM 模型，总排名第 7；得分最高的两个模型均为开放权重。基准中 7 个场景对应的违规行为曾被法院或监管机构实际处罚（如 Moffatt v. Air Canada、Mobley v. Workday）。
所属事件:新基准 PACT：压力下企业 AI 违规率飙升 65%(2 条相关)→
「模型」频道最新
- Nat Lambert 爆料：Nvidia、HuggingFace 预告近期密集发布 — natolambert · 2026-10-15
- 马斯克转发用户实测：Grok Bot 不比 Codex 强但更顺手 — elonmusk · 2026-10-15
- 爆料称 Anthropic 新模型将发布,疑似已挖出十余个 Chrome 高危漏洞 — matthew_d_green · 2026-10-15
- StartLux-Decision 发布:RL 训练的校准决策模型,27B 得分 72.8 — startlux-models · 2026-10-15
- Meta Muse Code 用量遭吐槽：5 小时额度仅剩 21% — ThomasScialom · 2026-10-15
- Claude Code 报错截图现「Fable 5.1」与「Opus 5」字样,疑为新模型露出 — adonis_singh · 2026-10-15