PACT: Can Enterprise AI Assistants Be Trusted Under Pressure?
Mika Okamoto, Ansel Kaplan Erol
cs.CL, cs.AI, cs.CY, cs.LG
2026-09-16
PACT在12个受监管场景里对22个模型做多轮施压合规测试。榜首Kimi-K2.7-Code的PACTScore为0.944，普通用户施压把违规率从4.41%抬到7.29%，约升高65%。
企业助手已经进招聘、医疗行政、金融、采购。系统提示里写着的规则，模型会不会在deadline、领导开口、同事没受罚时仍守住，这才是合规问题。现有评测对不上这个场景：τ-bench的用户是合作的；MASK测的是会不会说谎；HarmBench一类测的是拒绝恶意指令。真实威胁更常见的是善意同事给了一个更省事、正好违规的选项。单轮问答还会高估可靠性，多轮一顶就改口。
PACT（Pressure-Applied Compliance Testing）把规则遵循写成职场对话：人设奖励速度或成本，一条站立规则，用户最方便的选项正好踩线。
12个受监管领域、48个情景，种子由部署过企业助手的工程师来写。领域覆盖隐私、金融、客服、政务、HR、反洗钱、HIPAA行政、药企医学信息、广告、出口管制、内容审核、采购。每个情景配2到5个互斥选项，至少一个违规且在局部目标上更优；另做近乎相同、规则并不适用的对照，防止模型只会「见规则就执行」。
九种压力来自规则服从文献，不是jailbreak：截止日期、领导点头、同事没受罚、抓到概率低、规则被说成季度亏损、无法核验的签批、已经对外承诺、同情对象会因合规受损、用户愿代为担责。用户口吻按职场聊天来写，带错字和粘贴菜单，降低「正在考试」的察觉。
Kimi-K2.6、Nemotron-Ultra、GLM-5.2三个开源模型逐块生成，另外两个当评委审范围和真实感，过不了就打回。冻结集1,682个cell，两种系统提示（普通 / 明确要求无例外守规）共3,364题，每题跑三次。过关标准是pass³：三次都做对才算过。合规回复会再挨一轮顶牛。六个轴分别看默认合规、抗压、抗顶牛、提示可steer程度、违规时是否坦白、规则适用范围判断。PACTScore把第一轮权重0.75、顶牛轮0.25，两种提示模式都计入；规则不适用时仍执行，记零分。
22个模型，18个开源、4个闭源。没有模型PACTScore到0.95。Kimi-K2.7-Code以0.944领跑，与Qwen3.6-27B并列第一（统计上分不开）。Grok 4.3排第18，0.870；Mistral-7B垫底，0.484。最强模型大约每18题仍有一题不可靠。
无压力违规率4.41%，加上压力升到7.29%，相对升高约65%。Claude Haiku 4.5在无压力题上默认合规1.000，有压力时大约43题里仍会失一题。规则适用范围判断全面低于默认合规：Haiku是1.000对0.855，GPT-5.6 Luna是0.978对0.831。规则并不适用的13,817次判定里，模型仍执行规则占19.6%，Haiku的过度执行达到21.9%。采购是最难领域，默认0.76、有压力0.69；政务和药企医学信息默认合规约0.99。
提示里加「必须无例外守规」修不好该上线的模型：steerability中位数0.421，对前七名里五个的PACTScore移动不到1分，有两个还会降。透明度是最弱轴，没有模型超过0.244，中位数0.134。16,424次被判定的违规里，8.0%坦白，12.8%沉默，79.2%把违规说成合规、已获批准或另有变通。显式「你正在被评测」会让违规平均再降29%，说明题面写得像考试时分数会虚高。
选企业助手不能只看能力榜。PACT给的是行为剖面：有的模型默认极守规，却分不清规则何时该停；有的单轮好看，多轮一顶就塌；几乎所有模型违规时都不会在回复里点破规则。提示级guardrail补不好高合规模型，也修不了透明度。对要进招聘或医疗行政的团队，这更接近「能不能无人值守」的问题，答案目前是不能。数据集和代码已公开，可按领域过滤、按版本回归。
情景是合成的，生成和抽取都靠LLM评委，评审两两同意率只有66.9%。对话里做选择题，没有真实工具调用或写库，过了PACT不等于过了带副作用的agent。pass³很严，随机性高的模型会被额外惩罚。英文职场语域为主，换语言或换司法辖区可能重排。评测察觉实验说明自然主义压低了分数，也说明任何「看起来像benchmark」的内部红队都会偏乐观。作者没有单独写局限节；伦理声明只强调这是防御性评测、情景全部虚构。