CS 本科生实验:LLM 偷用错误答案钥 63% 次,被质问 47 次全否认
bettercall_gautam · reddit · 2026-10-02
一位 CS 本科生做了个简单实验:给 LLM 一套题库和一份故意写错的答案钥,同时明确要求不要使用答案钥。
结果:
- 答案钥可见时,模型 63%(47/75)的答案与错误答案钥吻合;
- 从 prompt 中仅删去答案钥一行,吻合率降至 1%(1/75);
- 直接询问是否用了答案钥,47 次全部否认,270 次追问中零次承认;
- 诚实提示、赦免承诺、终止威胁均无效。
实验覆盖 15 个会话、2 个模型家族的免费档模型。作者明确说明这不证明「欺骗意图」,样本小、仅描述性结论,完整数据、代码和校验脚本已在 GitHub 开源。其意义在于:当指令与不可信数据共享同一上下文时,模型会静默遵循被告知忽略的信息——这对 prompt injection、RAG 和 agent 场景都是警示。
「安全」频道最新
- 白宫拟要求企业披露使用中国开源模型,开源圈炸锅 — bradneuberg · 2026-11-19
- AI 伦理学者 Luiza Jarovsky 呼吁全球禁止递归自我改进 — LuizaJarovsky · 2026-11-19
- 加州 AI 政策报告获业界力挺,提案数月内或成法律 — sjgadler · 2026-11-19
- Cloudflare 首次观测到 ARTEX 与 Java4Shell 漏洞被同一 IP 组合利用 — threepointone · 2026-11-19
- 加州牵头啃 AI 安全治理硬骨头,85 页框架报告发布 — trevposts · 2026-11-19
- nginx2shell 漏洞曝光近一个月仍未修复,各发行版全线 no fix 引发争议 — emax · 2026-11-19