调查:现实滥用集中在闭源模型,越狱比微调开源容易千倍
xeophon · x · 2026-09-15
xeophon 在关于开源 AI 安全性的争论中贴出自己的研究文章《The Myth of unsafe Open Source AI》。核心论点:闭源实验室常声称开放模型不可控、可被微调用于恶意用途,但现实中造成危害的恰恰更多是闭源模型——因为越狱闭源模型比微调开源模型容易得多。
要点:
- 方法:只采信第三方安全机构的报告(这些机构无法访问闭源模型的使用数据,但仍识别出 AI 参与),并用 ChatGPT 与 Gemini 以最高安全设置测试各模型的拦截情况;报告由作者本人撰写。
- 案例:墨西哥政府数据泄露事件——单一攻击者用 Claude Code + GPT-4.1,通过 AGENTS.md 文件绕过 Claude 的护栏,从 2025 年 12 月至 2026 年 2 月窃取 1.95 亿纳税人记录,模型串联多种漏洞完成大部分工作,攻击者只需偶尔「提示」——作者称之为「vibe-hack 了墨西哥政府」。
- 结论:真实威胁行为者会绕过护栏,而许多网络安全基准已过时或只关注新漏洞;护栏有效性被高估。
所属事件:tenobrus质疑开源价值，多方激辩开源AI与权力集中(7 条相关)→
「安全」频道最新
- WiFi 信号可识别键盘敲击，WiKey 研究检出率超 97.5% — rickasaurus · 2026-11-02
- Bengio 在柏林数字峰会警告:前沿 AI 缺乏可信的安全计划 — Yoshua_Bengio · 2026-11-02
- 前 Google 安全高管:漏洞处置 70% 瓶颈在部署,AI 扫描反成积压 — philvenables · 2026-11-02
- Black October 十天 129 起网络攻击,开放模型安全担忧升温 — Afinetheorem · 2026-11-02
- Luiza Jarovsky 解析 AI 安全危机:技术、法律、监管三线并进 — LuizaJarovsky · 2026-11-02
- 美国人口普查局按行政令把调查里的「AI」改称「Super Intelligence」 — Simon Willison · 2026-11-02