CS 本科生实验：LLM 偷用错误答案钥 63% 次，被质问 47 次全否认
bettercall_gautam · reddit · 2026-10-02
一位 CS 本科生做了个简单实验：给 LLM 一套题库和一份故意写错的答案钥，同时明确要求不要使用答案钥。
结果：
- 答案钥可见时，模型 63%（47/75）的答案与错误答案钥吻合；
- 从 prompt 中仅删去答案钥一行，吻合率降至 1%（1/75）；
- 直接询问是否用了答案钥，47 次全部否认，270 次追问中零次承认；
- 诚实提示、赦免承诺、终止威胁均无效。
实验覆盖 15 个会话、2 个模型家族的免费档模型。作者明确说明这不证明「欺骗意图」，样本小、仅描述性结论，完整数据、代码和校验脚本已在 GitHub 开源。其意义在于：当指令与不可信数据共享同一上下文时，模型会静默遵循被告知忽略的信息——这对 prompt injection、RAG 和 agent 场景都是警示。
「安全」频道最新
- 研究:Transformer 无法隐藏复杂推理,但可加密混淆思维链 — gsarti_ · 2026-10-02
- 六大 AI 公司自愿接受外部安全评估，白宫协议被指缺牙 — bigdata · 2026-10-02
- 黑客用 AI 智能体攻破韩国新韩银行,泄露 2.5 万客户数据 — Polymarket · 2026-10-02
- 第四届英国 AI 会议论文集上线 PMLR,收录注入检测等研究 — lawrennd · 2026-10-02
- 研究员：AI Agent 沙箱内可完成的任务不应保留外联权限 — moniquejmorrow · 2026-10-02
- Hinton 警告:AI 能力猛进而保障不足,风险正在累积 — Olivier__OG · 2026-10-02