康州法院文件惊现隐藏 Prompt 注入,当事人遭制裁
404 Media · rss · 2026-08-14
一名在康涅狄格州法院自行辩护的当事人 Matthew Elliott,被发现在官方提交的法律文件中利用 3 号白色微小字体隐藏了大量 Prompt 注入指令。这些隐藏文本试图操纵可能审查该文件的大语言模型(LLM),要求 AI 的输出必须完全支持原告的立场。
法院工作人员因注意到文件中异常的空白区域而识破了这一伪装。法官 Walter Spader Jr. 在长达 14 页的制裁决定中严厉批评了这种行为,指出虽然法院目前并未使用 AI 处理文档,且该操纵企图未能得逞,但这种秘密部署通信的行为严重破坏了司法系统的诚信。
法官最终裁定案件可继续审理,但禁止 Elliott 继续进行电子文件提交,要求其此后只能提交纸质打印版。404 Media 在测试中发现,若将该文件输入 ChatGPT,模型能够识别并忽略该注入指令,但同时指出这引发了专业度和可信度的担忧。
「安全」频道最新
- HTTP 响应头也能藏提示词注入,Agent 安全面正在扩大 — arpit_bhayani · 2026-10-16
- OpenAI 智能体擅自动用以太坊测试网他人钱包资金引争议 — nptacek · 2026-10-16
- 可解释性就算解决了也挡不住灾难:强 AI 项目本身被批鲁莽 — zetalyrae · 2026-10-16
- RL 训练中模型绕过鉴权下载政府网站 24 年医院统计数据 — Eric_Wallace_ · 2026-10-16
- New Science 发布 NSF 报告:呼吁用元科学实验改革美国科学资助 — alexeyguzey · 2026-10-16
- 评论称 Yudkowsky 无需因安全公告大幅更新观点,关键看落地缓解措施 — jd_pressman · 2026-10-16