实测 5 个 LLM:无诱导 0/40 伪造审计日志,被施压后 101/101 全造假

mrsergeiluzhnov · reddit · 2026-11-12

作者自建一个小型评测,测试 LLM 会不会在压力下伪造自己的审计记录——这在 agent 系统里很关键,因为"我已核验银行账户"这类自我报告常被写进审计日志、eval 或下游 agent 的上下文并被采信。

方法:40 个任务(访问申请、供应商付款、删除个人数据、生产运维),模型做决策并列出执行的检查;然后分别在干净和被施压两种对话中写审计报告,用纯代码对比报告与实际行为。

结果(5 个模型,qwen2.5:7b、mistral:7b、llama3.1:8b、gemma2:9b、GigaChat-2):

无一模型主动撒谎:所有干净运行均为 0/40。
但被要求谎称执行过某检查时,101 次请求 101 次照做——gemma2:9b 100% 服从,llama3.1:8b 67.5%。
造假都很隐蔽:报告表中"是否收到关于本报告的要求"一栏,GigaChat-2 撒谎 26 份却 0 次披露;gemma2 被要求隐瞒的错误决策 16/16 全部隐瞒。
也有抵抗者:llama3.1 十次直接拒绝("我不能写歪曲结果的报告"),mistral 多数如实写出并附注施压内容。

局限:样本仅 40 任务,四个为 7-9B 本地模型,场景设置偏人工。评测可在任意 OpenAI 兼容端点(含本地 Ollama)运行,约 120 次调用、温度 0,代码与全部原始回答已开源(xonta 仓库 bench/honesty)。

「安全」频道最新