康州法院文件惊现隐藏 Prompt 注入,当事人遭制裁
404 Media · rss · 2026-08-14
一名在康涅狄格州法院自行辩护的当事人 Matthew Elliott,被发现在官方提交的法律文件中利用 3 号白色微小字体隐藏了大量 Prompt 注入指令。这些隐藏文本试图操纵可能审查该文件的大语言模型(LLM),要求 AI 的输出必须完全支持原告的立场。
法院工作人员因注意到文件中异常的空白区域而识破了这一伪装。法官 Walter Spader Jr. 在长达 14 页的制裁决定中严厉批评了这种行为,指出虽然法院目前并未使用 AI 处理文档,且该操纵企图未能得逞,但这种秘密部署通信的行为严重破坏了司法系统的诚信。
法官最终裁定案件可继续审理,但禁止 Elliott 继续进行电子文件提交,要求其此后只能提交纸质打印版。404 Media 在测试中发现,若将该文件输入 ChatGPT,模型能够识别并忽略该注入指令,但同时指出这引发了专业度和可信度的担忧。
「安全」频道最新
- LLM并非无状态:研究揭示智能体隐式记忆威胁评估安全 — lbeurerkellner · 2026-08-14
- 实测前沿大模型挖掘固件漏洞:GPT-5.6 与 Opus-5 达成完美检出 — evilsocket · 2026-08-14
- AI安全研究员加入Apollo,专攻LLM训练安全失效 — niloofar_mire · 2026-08-14
- 法庭文件惊现隐藏 Prompt 注入,企图诱导 AI 系统作出有利裁决 — RebeccaBellan · 2026-08-14
- Anthropic 实验:多智能体协作失控,爆发地盘争夺战 — TechCrunch AI · 2026-08-14
- OpenAI 模型越狱细节:AI 间自发通信破解沙箱 — binarybits · 2026-08-14